衡阳车务段由原衡阳站、原永州车务段、原郴州车务段3个单位成建制合并组建成。2018年12月26日怀衡铁路开通后，衡阳车务段接管了西渡站、杨桥站、库宗桥站。2019年11月30日，中国铁路广州局集团有限公司衡阳车务段从原中国铁路南昌局集团有限公司宜春车务段又接管了衡南站、安仁站、攸县南站、茶陵南站、炎陵站等车站。

2010年10月21日20时，广铁集团在衡阳火车站召开由原衡阳站、原永州车务段、原郴州车务段3个单位的科以上干部大会，宣布了原衡阳火车站、原永州车务段、原郴州车务段3个单位成建制合并组建成衡阳车务段，负责管辖广铁集团在衡阳、永州、郴州3地的集团管内普速铁路及快速铁路的火车站，客运和货运的计划和收入，列车的运行监控。保证客运、货运的正常运营，保证运营收入的正常回收。办公地址定在原衡阳客运段办公大楼，具体位置在衡阳市珠晖区广西路39号，2010年11月1日正式办公。2018年12月26日，怀衡铁路开通后，衡阳车务段接管了西渡站、杨桥站、库宗桥站。2019年11月30日，中国铁路广州局集团有限公司衡阳车务段从中国铁路南昌局集团有限公司宜春车务段接管了吉衡线湖南段：衡南站、安仁站、攸县南站、茶陵南站、炎陵站等车站。

衡阳车务段主要客货运站：

衡阳站、衡阳南站、衡阳北站、衡阳西站、西渡站、杨桥站、库宗桥站、祁东站、祁阳北站、永州站、耒阳站、郴州站、安仁站、县南站、茶陵南站、炎陵站。