西汉置，故治在今河东区汤河镇故县村，属琅郡。南梁刘宋撤销开阳、临沂两县，并入即丘县。北魏即丘县治西移(遗址在今临沂市兰山区兰山街道古城村)，是年，于此置北徐州。北周改北徐州为沂州，并将沂州向东移治晋琅邪郡城开阳（今临沂老城）。开皇十六年(596年)，分即丘县复设临沂县，治所在汉开阳故城(今临沂老城)。大业初，并即丘县入临沂县，为琅琊郡所。

西汉置，故治在今临沂市河东区汤河镇故县村，属琅琊郡。三国两晋南北朝因之。

东晋义熙五年(公元409年)五月，刘裕北伐南燕时，开阳县(治在今临沂城)和临沂县(治在今临沂市兰山区白沙埠镇诸葛城村)二城被毁颇重。

南梁刘宋时，撤销开阳、临沂两县建制，两县原辖境并入即丘县(治所在今临沂城东16.5公里处的河东区汤河镇故县北)。

北魏永安二年(公元529年)，即丘县治西移(遗址在今临沂市兰山区兰山街道办事处古城村)，是年，于此置北徐州。

北周宣政元年(公元578元)，改北徐州为沂州，向东移治晋琅邪郡城开阳。“以州城东临沂水，因此为名”(《太平寰宇记》语)。临沂称“沂州”自此始。

开皇十六年(596年)，分即丘县复设临沂市，治所在汉开阳故城(今临沂老城)。大业初，并即丘县入临沂，为琅邪郡治，唐、宋以沂州琅邪郡称之。