合肥古城墙始建于隋，至明朝形成沿今环城公园而筑的格局。
秦始皇修万里长城时，
合肥市就有了城池，随之有了“
合肥县”这一行政区域。合肥的城池，汉和三国以前在如今城区的西北方，因此涵盖
逍遥津公园，教弩台，
三孝口，四牌楼这些地名的整个老城区那时都在城外。唐时的合肥新城就是现在的老城，但偏南，面积大约只有如今老城区的三分之一。到
宋朝城池扩展基本定型，格局维持到解放初将近1000年里，没有大的变动。在民国建元前的1200多年间，合肥也一直是庐州府的府治所在地。合肥最早的城墙历史可以上溯到
东汉初年，合肥侯鉴镡在今天的合肥西北面建起了一座古城墙，史称“汉城”，后衰败成为空城。
东汉末年，
扬州市刺史刘馥在合肥侯国的古城原址上，重建了一座新汉城。三国时期，为抵御吴王
孙权的进攻，镇守
合肥市的魏国大将
满宠在“汉城”西边另筑一座“新城”，先后两次成功地阻止了吴王孙权以及东吴大都督
诸葛恪的重兵围攻。唐贞观年间，右武侯大将军
尉迟敬德在以今天的四牌楼为中心的周边地方筑起了合肥的第三座城墙，几经兴替，至宋时，基本奠定了以现在的环城公园为范围的老城区。起初城墙只是用
土坯堆垒起来，明朝初年，国公
俞通海监修合肥城墙，开始在土墙两边砌砖，形成了后来“内层土，外层砖”的城墙结构。弘治年间，庐州
知府马金修将老城墙改建成周长26公里的坚固墙体，并疏浚加宽了原有的
护城河。此后，
合肥市老城墙经过不断修，城楼屡有加高，橹垛多次加固，但基本格局一直维持到解放初期。
历史上曾有“天生重庆，铁打庐州”之语。把庐州和
重庆市并列，一是说两地的战略地位皆重要，一是说两地皆城高池深，易守难攻。例如
孙吴孙权重兵围城，屡攻无果；
南宋时金兵长驱直入，打合肥或不克而退．或反被赶走；北伐时国民革命军马祥斌师驻守合肥，奉系军阀
张宗昌攻城40余天，甚至动用雇佣军白俄哥萨克骑兵参战，终以败北而告终。
马祥斌后来被奉系军阀暗害于
山东省，
合肥市民众把他的牌位和同期守城的
冯玉祥部北伐先遣司令王金韬的牌位供奉在新修的四牌楼上，纪念这两位使合肥免遭屠城的将军。
合肥的城墙起初都是用
土坯堆垒起来。元末加固扩修。明清两代进一步开凿西北，补其残缺，逐步形成周长4706丈，高2丈余，底宽4丈余，上宽8尺，有墙垛、望台、城门七座、水关两座的庐州府城。说起当年拆除老城墙，上了年纪的老合肥至今还记忆犹新。许家辉老人当时在派出所工作，他们单位按照上级的部署，和当时的街道人员以及市里派来的劳教人员一起，从老城墙上往下拆砖。由于
合肥市的老城墙是采用
生石灰与糯米汁制成的黏合剂将一块块城砖粘合在一起的，所以拆起来相当吃力。拆墙用的撬杠、榔头、铁锤不知损毁了多少。拆下来的城墙砖头有的拿去砌墙了，有的就是随便一扔，如今，早就难觅踪影了。由于全靠人力一点一点地拆除，整个工程大概用了三年的时间。而城墙的堆土就留在了原地，成了今天环城马路的路基。
合肥的城墙周长约17华里，它的位置大致和今
环城路的走向相当。其中，城墙的东边开有威武门即今
大东门，在
淮河路桥西，时雍门即今小东门，在长江中路东口；南边开有南薰门即今南门，在建设厅与银河大厦之间，德胜门今仍用其名，在省教育厅与安徽日报社之间；西边开有西平门即今大西门，在省团校与
琥珀潭之间，水西门今仍用其名，在省财政厅以西；北边开有拱辰门即今北门，在省政协以北。
1949年解放时，
合肥市的城墙基本完好，平均高度约8米，内外墙砖石结构，底座厚约1.3米，中间填土垫高，便于燎望和战守。清人
徐子苓在《庐州战守记》中谓：“庐州城周二十六里，为四千五百七十有奇，总七门。”这可能含有部分地段和城门附近的双道城墙的长度，实际上合肥老城的城墙周长约17华里，它的位置大致和今环城公园路的走向相当。其中，护城墙的东边开有威武门即今
大东门在
淮河路桥西，时雍门即今小东门在长江中路东口；那边开有南薰门即今南门在省建设厅以东，德胜门今仍其名在省教育厅与安徽日报社之间；西边开有西平门即今大西门在团省委以北，水西门今仍其名在省财政厅以西；北边开有拱辰门即今北门在省政协以北。历史上，合肥古城墙原本共有八个城门，除了大家熟悉的“威武门”、“时雍门”、“南熏门”、“德胜门”、“西平门”、“
水西门”、“拱辰门”七座城门以外，还有一座“金斗门”。太平天国时期，
太平军围攻
合肥市，因为城墙既高大且坚固，久攻不下。后来他们将地道挖到了金斗门（今州路桥附近）下，用炸药炸毁了这座城门。后人用泥土把那段城门封堵了起来，自此合肥古城墙的“八门”只剩下“七门”了。
上世纪50年代，全国大兴拆城墙之风，合肥城墙也被拆除，改建环城马路。据悉，现在的环城马路下三四米，即为古城墙墙基。近年，全国城市复建古城墙蔚然成风，武昌、
开封市、大同、
济南市、州、丽水、
歙县、
池州市等地纷纷恢复古城墙，以合肥的条件，虽不具备大规模复建古城墙的基础，也无必要，但恢复部分城墙，再现历史风貌，增添城市景观，不失为明智之举。
目前，
合肥市市有关部门正在研究修复古城墙一事，相信在不久的将来，一座凝结着合肥厚重历史的古城将展现在世人面前。