Kariernya di pemerintahan dimulai di Kabupaten Bengkulu Selatan, di mana ia pernah menjabat sebagai Kepala Poskeswan (1998), Kasubag Prog Kerja Bagian Pembangunan (2006), Kabid Perencanaan Ekonomi Bappeda (2008), dan Kabid Perencanaan Fisik Prasarana (2009).
Gubernur Bengkulu Rohidin Mersyah. (Antara)
Setelah itu, ia terjun ke dunia politik dengan mencalonkan diri sebagai Wakil Bupati Bengkulu Selatan (2010–2015), Wakil Gubernur Bengkulu (2016–2017), hingga akhirnya menjabat Gubernur Bengkulu dari periode 2018–2021 dan 2021–2024.
Pada Pilkada Bengkulu 2024, ia kembali mencalonkan diri sebagai gubernur dengan menggandeng Meriani sebagai pasangannya, menjadi pasangan calon nomor urut 2. Di luar politik, Rohidin juga menjadi dosen Pascasarjana di Universitas Bengkulu.
Berdasarkan laporan LHKPN yang diunggah di situs resmi KPK pada 27 Maret 2023 untuk periode 2022, total harta kekayaan Rohidin mencapai Rp 4.037.522.129 tanpa utang. Dalam laporan tersebut, harta kekayaannya meliputi tanah, bangunan, kendaraan, dan surat berharga.