开建县以开江县而得名。始建于司马曜太元五年(即公元380年)，清末余瀚版的《开建县志》记载"晋孝武帝太元五年拆封阳地置开建县属临贺郡"。解放初，开建依旧保持独立一个县。上世纪五六十年代，开建曾几度分别和封川、怀集县合并，其间曾一度恢复原开建县建制。1961年，与封开县进行建国以后的第三次合并，组成了现在的封开县。

元嘉二十九年（452年）置宋建郡，属广州市。大明元年（457年）宋建郡撤销，改属临贺郡。梁置南静郡，开建为郡治地。隋废南静郡。开皇十年（590年）废开建县并入连州市。大业元年（605年）复置开建县，属熙平郡。唐武德元年（618年）开建入属封州。后复故。五代十国南汉乾亨年间废县并入封州，于县治设寨。宋开宝五年（972年）并入封川县。次年复置，仍属封州。元因之。明属德庆州，隶属肇庆府清因之。辛亥革命后，封川、开建两县建制如故，先后属粤海道、西路善后委员会、西区绥靖委员公署、第三、四、十二行政区督察专员公署。

1952年3月，封川、开建两县合署办公，称“封川开建县”，县政府设在封川城，在南丰圩（开建县城）设立两县合署联络处。1957年4月1日，恢复封川、开建两县建制。1958年5月，两县再度合署办公，县政府设在江口镇。

1958年11月1日，根据高要地委250号文决定，开建县与怀集县合并为怀建县；封开县与德庆县合并为德封县。1961年4月中旬，封川县从德封县划出，开建县与怀集县分开，再度合并为封开县，县城设于江口镇。先后隶属西江专署、粤中行署、高要专署、江门专署、肇庆专（地）区、肇庆市。