初置汝阴县，治今阜阳市市区，属陈郡为汝阴县，高祖二年（公元前206年）汝阴县改属汝南郡；高祖六年封夏侯婴为汝阴侯于此；新朝改汝阴名为汝坟；东汉复称汝阴县，属汝南郡；更始初年，淮阴王刘玄封刘信为汝阴王，建武年间刘秀改封刘信为汝阴侯，永初二年(108年)刘祜封刘显为阜阳侯，封邑不在今阜阳市，但阜阳地名始见。

魏初为汝阴县，属汝南郡；景初二年(238年)析沛郡置顺昌府；后废，汝阴县复属汝南郡。

泰始二年(266年)复置汝阴郡，同廓设汝阴县；泰始元年，司马炎封司马骏为汝阴王，后改封司马谟为汝阴王。

西晋五胡乱华后，汝阴郡先后属汉(前赵)、后赵、前燕、前秦、后燕、东晋。汉刘渊封子刘景为汝阴王；刘曜封子刘厚为汝阴王；后赵石虎封子石琨为汝阴王。

宋永初元年至景平元年(420—423年)为汝阴郡，属河南省。

太常八年至太平真君八年(423—447年)阜阳市为魏占领，属魏之豫州，但未设治，因宋将顺昌府先侨置于司州(今信阳市)后侨置于黄陂区（今武汉市黄陂区），称南汝阴，属南司州；北魏神三年(430年)拓跋焘封长孙道生为汝阴公；后封孔照为汝阴侯。

元嘉二十四至二十七年(447—450年)，收复原汝阴地，未设治，南汝阴仍侨置合肥市；文帝封子刘浑为汝阴王。

于建元元年(479年)代宋之后，改南豫州称豫州，于南汝阴郡同廓设汝阴县，均属豫州，终齐之世，原汝阴地仍属北魏。

太平真君十一年至孝昌四年(450—528)原汝阴地属魏，孝昌四年在此未设治，其间于和平二年(461年)文帝封拓跋天赐为汝阴王；太和二十年(496年)拓跋宏封拓跋景和为汝阴王。北魏孝昌四年亦即武泰元年，于原顺昌府置颍州区，此为州治之始。同年，州为梁占。

大通二年至太清三年(528—549)原汝阴地属梁，置胡城县，太清年间因侯景之乱为高澄占领。

开皇三年(583年)改汝阴郡为颍州，大业初年复称汝阴郡。

初称汝阴郡；武德四年(621年)改名信州；武德六年改名颍州；天宝(742年)复名汝阴郡；乾元元年(758年)复名颍州，同廓设汝阴县，属河南道。

梁、唐、晋、汉、周均为颍州。

初称颍州，同廓设汝阴县；政和六年(1116年)升颍州区为顺昌府，属京西北路，是为府治之始。金　皇统元年(1141年)占领顺昌府，改为颍州，同廓设汝阴县，属南京路。

至元二年(1265年)废汝阴县入颍州，属河南行省汝宁府。

东晋咸和五年(330年)，在合肥市侨置汝阴县，为侨置汝阴郡治所。

南梁宋永初元年(420年)，汝阴县改属南汝阴郡，并兼南豫州、南汝阴郡治。

南齐时，侨置的河南省，又称西豫州迁治阜阳市，同时设北陈郡。仍兼南汝阴、北陈郡治。

南朝梁天监五年(506年)，改南顺昌府为汝阴郡，迁豫州治汝阴。

普通七年(526年)十一月，豫州迁治寿春，迁南豫州治汝阴。

太清元年(547年)七月甲子，改设合州于汝阴，汝阴县兼合州，汝阴郡、南顿郡等治。

北周大定元年(581年)二月，隋朝北周，汝阴县随合州改属隋朝，仍其旧制。隋开皇三年(583年)，废郡，撤县，改合州为庐州古城，汝阴县改合肥县。