夏屬冀州，周屬并州，春秋屬晉，戰(zhàn)國時為趙域，秦屬太原郡。

漢武帝元朔四年（前125），始設(shè)縣治，屬西河郡，郡治在平定縣（今內(nèi)蒙古鄂爾多斯左翼前旗境）。

東漢永和五年（140），匈奴掠西河郡，郡治南徙509里治置離石，臨水并入離石。

西晉永興元年（304），匈奴左部帥劉淵在臨縣募兵起事開始，近百年時間，幾易其主。

北齊天保三年（552），屬西汾州，四百余里的長城縱貫境內(nèi)東麓。

黑峪塔村北設(shè)烏突戌，為長城三十六戌之一。

北周大象元年（579）置郡、縣，取名烏突郡、烏突縣，治今大禹鄉(xiāng)府底村。

隋開皇元年（581）廢郡，改烏突縣為太和縣。

唐武德三年（620），改太和縣為臨泉縣，治今白文鎮(zhèn)故縣村，屬石州。

金天會元年（1123），復(fù)名臨水縣。

貞佑末年（1216），元兵南下，先得臨水，置大定府。

元中統(tǒng)二年（1261），改臨水為臨泉，屬太原郡。

至元三年（1266），臨泉升為州。

至元五年（1268），州治由故縣村南徙50里，置今縣城。

明洪武二年（1369），州降為縣，屬太原府。

清咸豐三年（1853），磧口設(shè)通判署（俗稱三府衙門）。

光緒三十三年（1907），改置巡司。

1912年，廢除府、州，縣直隸省轄。

1940年，臨縣解放，成立了由中國共產(chǎn)黨領(lǐng)導(dǎo)的抗日民主政府；10月，臨縣分為臨縣、臨南縣2縣。

1946年，臨縣、臨南2縣合并，仍稱臨縣至今。