北魏时期，南兖州经历了多次行政变更。最初于正始四年（507年）侨置于
涡阳县，随后在
正光年间迁至
小黄县。
北魏正始四年（507 年），南兖州被设立在涡阳（现位于安徽省
蒙城县东北部）。到了正光年间（520-525年），其治所迁移至小黄（现今的
亳州市）。这一时期，南兖州的行政区划发生了变化。
侯景之乱结束后，南兖州先后归附于
东魏和
北齐。其中，在武定八年五月份时，南兖州正式并入了北齐的版图。
北周建德七年二月，为了加强对南兖州地区的管理，设立了南兖州
总管府，同时将州和总管府的治所都设在小黄。然而，到了北周
大象元年（579年），由于南兖州地理位置靠近古代的“南亳”，因此为了纪念这一历史渊源，南兖州被更名为亳州。