刘彻元鼎二年(公元前115年)建令居县，有人认为过去是先令(零)羌居住的地方，因以得名。汉光武帝建武十年(34年)曾在这里置护羌校尉。清乾隆《
甘肃通志》记载：“令居故城在
平番县（在今甘肃永登县）
西北”，辖区当为今甘肃永登县西北部与
天祝藏族自治县交界处。晋废。
刘秀建武十二年(36年)省
金城郡，令居县属
陇西郡。次年恢复金城郡，令居县还属。魏，
西晋因之。
前凉、
前秦、
后凉、
南凉、
西秦、
后秦、
北凉时，令居县属广武郡。
北魏太延五年(439年)，灭北凉，省并了原来的令居、
永登县、枝阳三县，置
广武县，为广武郡治。