东汉初，山桑县属
汝南郡（治
平舆县，今
临泉县西古城子）。
建武二年（２6年)夏，改山桑县为横野大将军王常侯国（仍都今坛城镇）。三十年，山桑侯国除（历２世，因子王广徙封石城侯）为县。
延康元年（２２0年)十月，
曹魏代汉，山桑县属沛郡（治相故城）。曹魏景初二年（２３8年)，山桑县改属
顺昌府（治汝阴，今阜阳市区）。嘉平五年（２５3年)，山桑县改属
谯郡（治谯，今
亳州市市区）。
西晋永嘉五年（３１1年)，入
后赵，山桑县属
沛郡。
东晋初年，
祖逖，收复山桑县。
沧州雄狮足球俱乐部元年（３２2年)，复入后赵谯郡。咸和八年（３３3年)，山桑县入
晋朝，旋入后赵、
前秦。
永和九年（３５3年)，东晋五州
都督殷浩伐前秦，收复山桑，旋因
姚襄反叛，复入前秦。
光寿元年（３５7年)，入
前燕。
建熙十年（３６9年)，回属东晋。七月，入前秦。太元八年底，回归东晋。后曾短时间属
后秦（３８４～４１７年）
谯郡。
义熙十二年（４１6年)八月后，山桑县属东晋谯郡。
刘宋永初三年（４２2年)，
北魏攻占山桑县（仍治今坛城镇）。元嘉八年（４３1年)，收复山桑县。宋山桑县属谯郡。
泰始二年（４６6年)，失
淮北市，废山桑县。
隋大业二年（６０6年)，改
涡阳县为山桑县（治故涡阳城，今
蒙城县香山刘寨村）。属
亳州市（治谯，今州市区）。三年四月，改州为郡，山桑县改属
谯郡（仍治谯）。
大业十四年五月，
唐朝隋，改郡为州。山桑县改属
谯州（治
临涣镇，今
濉溪县临涣镇）。唐
贞观十七年，山桑县改属亳州（今亳州市区）。
天宝（７４2年)，改山桑县为蒙城县（改治今蒙城县城区），谯郡（由亳州改）。