黑河镇，原称“
大黑河屯”，形成历史较久。据新编《爱辉县志》载，1854年（清咸丰四年），随同沙俄东西伯利亚
总督穆拉维约夫率领俄军入侵
黑龙江时的马克，曾到过黑河和小黑河，他说：我们经过大黑河屯，见有 土房约40栋，散布于树荫之中。每栋土房附近都有围着篱的菜园。“位于同一河岸上的第二个叫做小黑河屯的不大的村庄，在这个村庄下边三俄里处经过
结雅河河口”（马克《黑龙江旅行记》）。
清朝政府于同年在大黑河屯设置卡伦，隶属
黑龙江省副都统管辖。1858年（清咸丰八年），中俄《珲和约》签订后，俄岸人口骤增。“
布拉戈维申斯克”居民的食品和生活用品主要依靠中国供给。由于两岸开展贸易，
瑷珲古城的一些店铺纷纷到
黑河市设立分店，黑河屯迅速发展起来。为了管理中俄贸易，瑷珲副都统于
光绪初年在黑河设立边界厅。1900年（清光绪二十六年），“庚子俄乱”，8月2日凌晨2时
俄罗斯帝国军队在
大炮掩护下渡江，中俄两军战4小时，黑河失守，居民被迫逃难，当天俄军放火烧毁大黑河屯。1907年5月14日（清光绪三十三年四月初三日），俄军撤离黑河。俄军退出后，不到3年，黑河户数增加了数百户。1909年（清
宣统元年），
黑龙江将军辖区奏准，于
大黑河设置黑河府，成为府城。
中华民国成立后，1912年6月，瑷珲兵备道署迁驻大黑河，改为黑河道；7月，黑河府并入瑷珲直隶厅，改隶瑷珲厅管辖。1913年3月，瑷珲直隶厅改为
瑷珲县，全县分1城、1镇、3乡，设置黑河镇。1922年9月，苏俄
远东共和国于
黑河市设立领事馆。1929年2月15日撤销黑河道尹公署，改设黑河市政筹备处。东北沦陷后，1933年5月，撤销黑河市政筹备处，同年9月伪
爱辉区公署迁驻黑河镇。从翌年12月1日起成为伪黑河省会。此后，设置黑河街。1945年“九三”抗日战争胜利后，同年12月，设置
黑河区；1946年11月，分设
靖宇县、
侯外庐两个区；1947年4月，合并为黑河市区，既是
黑河市县城，又是黑河专员公署的驻地。1949年中华人民共和国建立后，设置县城区，1951年改为第一区。1957年改为黑河镇。1958年成立黑河镇人民公社。1980年11月，在原黑河镇的基础上设置
黑河市。1981年撤销黑河镇，分设4个街道办事处，总面积4．16平方公里，总人口4．9万人。1983年6月1日，将
爱辉区并人黑河市，成为黑河市市区。