珲地名系满语“可畏”之瑷珲地名系满语“可畏”之意，一名艾浑、爱呼、艾浒。以境内的艾虎河（一名鼎河，今苏联境内的藏嘎河）故名。

此地远在周以前为肃慎地；汉至三国时期为挹娄地；晋时入寇漫汗；北魏、北齐属豆莫娄国；隋时分属靺鞨黑水及北室韦地；唐同之；五代十国至辽属五国部；金为扶余路的辖境；元时为铁木哥斡赤斤分地，后属开元路；明时在此设置考郎兀、忽里吉山、巴忽鲁等卫。

清康熙二十二年（1683年）为抗击俄罗斯帝国的入侵，于黑龙江省左岸（今苏联境内的维笑勒依村）设置镇守黑龙江等处的将军，筑城驻兵，任命抗俄名将萨布素为第一任黑龙江将军辖区。康熙帝二十四年（1685年）黑龙江将军移驻江右岸的达呼尔族城堡一托尔加城（今爱珲公社）并称此地为新爱珲城，又名黑龙江城，将军及副都统均移驻新爱珲城。而江左岸的城堡称旧爱珲，设城守尉镇守，康熙二十九年（1690年）根据将军萨布素关于墨尔根“首尾易制”的奏请，黑龙江将军驻地移至墨尔根城，黑龙江城由城守尉驻守。庚子事变后，暧珲、黑河市及黑龙江省右岸的各都市均为俄军占领。光绪三十二年（1906年），归还后，清朝复设瑷珲副都统，同时又设置了兴东道，二者以逊河为界。同年在黑河设交涉局，光绪三十四年（1908年）撤消交涉局，并于此地设置黑河副部统府，黑河副都统府设立后的第二年，即宣统元年（1909年）撤消瑷珲副部统府。以兵备道代之，道台驻瑷珲，与此同时设置瑷珲厅。民国元年（1912年）黑河副都统府撤消，所管事务均移交瑷珲厅及兵备道管理，同年改兵备道为观察使，并移驻黑河。民国二年（1913年）改接泽厅为瑷珲县，此后观察使改为道尹，称之为黑河道尹，瑷珲县为黑河道所辖。民国十八年（1929年）东北政务委员会成立，废道制，县归省直辖，本县直隶黑龙江省为一等县。伪满大同二年（1933年）县公署由黑河市移驻大黑河。康德元年（1934年）十二月一日，伪满洲国改行帝制，实行地方行政机构改革，成立黑河管公署，此地为黑河省省会所在地。民国三十四年（1945年）东北光复，民国三十六年（1947年），将伪北安，黑河二省合并为黑龙江省，本县划归黑龙江省所辖。

1980年11月15日，国务院批准设立黑河市，以爱辉县的黑河镇、幸福公社和西岗子公社的西岗子煤矿、宋集屯煤矿、东方红煤矿为其行政区域。1983年4月28日，国务院批准撤销爱辉县，将该县行政区域并入黑河市。