北宋太平兴国三年（978），北宋中央政府以现在的无为市、巢县、庐江地域置无为军，在江南置太平府，取“太平无为”之意。北宋熙宁三年，即公元1070年置无为县，下设无为乡、太平乡、襄安乡、开城乡等。《元史·地理志》说：“宋始以城口镇置无为军，思与天下安于无事，取‘无为而治’之意而名之。”《方舆胜览》也持此说。

无为军和无为县的取名可能始于当时人们对“无为”意思的另一种解释和升华，即“太平无为”“无为而治”之意。《太平寰宇记》《读史方舆》认为，“无为”地名与曹操“此无为之地也”的叹息有关。

北宋置。《宋史》载：“无为军，同下州。太平兴国三年，以庐州巢县无为镇建为军，以巢、庐江县二县来属。”

至道3年（997年），无为军改属淮南路。

熙宁5年（1072年），无为军改属淮南西路。

南宋续设无为市军，仍治巢县城口镇（今安徽无为无城镇），领巢、无为、庐江三县。建炎2年（1128年），入金。不久退兵，复属南宋。淳祐2年（1242年），改听沿江制置使节制。

元至元14年（1277年），升无为军为无为路。领无为、庐江二县，属江淮行省淮西道。

元至元28年，降无为路为州，罢巢州为县。无为州辖巢、无为、庐江县三县。明因之。

清袭明制，无为州治今安徽无为无城镇，仍属南直隶庐州府。康熙6年（1667年），无为州改属安徽省（治安庆府，今为市）庐州府。中华民国元年废无为州，改设无为市。