在夏、商、西周時為雍州、梁州邊鄙；春秋時屬牂牁國；戰(zhàn)國時屬大夜郎國；秦始皇三十三年（前214）屬象郡；漢時屬且蘭縣；前112，漢滅且蘭君，以原且蘭縣城為治所置牂牁郡，開陽屬之；魏蜀吳三國、晉朝、南朝宋齊梁陳和隋朝時均屬牂牁郡；唐貞觀四年（630）在今縣境西面雙流同知衙置蠻州，后棄為化外；宋蠻州改稱大萬谷落總管府，開陽屬之；元皇慶元年（1312）在今縣城東置乖西軍民府；明洪武四年（1371），置順元路，合水西安氏、水東宋氏二土司地置貴州宣慰治所從大羊場（今開陽縣城）；永樂元年（1403）于開陽境重置乖西軍民府。

明崇禎三年（1630）貴州宣慰同知宋嗣殷因反朝廷被革職，其轄地陳湖十二馬頭地改置為開州；清康熙二十六年（1687）開州屬貴陽府；1914年改開州為紫江縣，隸黔中道；1917年改隸貴州省長公署；1927年隸省政府；1930年紫江縣改稱開陽縣；1935年開陽改隸省第一督查區(qū)；1937年后改由省政府直轄。

1949年11月15日中國人民解放軍解放開陽，解放后初隸貴陽專區(qū)；1952年11月貴陽專區(qū)改為貴定專區(qū)，開陽縣屬貴定專區(qū)；1956年4月18日劃歸安順專區(qū)；1958年12月29日改隸貴陽市為郊區(qū)縣；1963年10月21日改屬遵義專區(qū)；1965年12月25日復(fù)歸安順專區(qū)；1966年2月2日，經(jīng)黨中央、國務(wù)院批準設(shè)立開陽特區(qū)，開陽磷礦礦務(wù)局與開陽特區(qū)合署辦公，隸屬貴陽市，內(nèi)設(shè)政治辦公室、人事辦公室、農(nóng)林辦公室、財貿(mào)辦公室、文衛(wèi)辦公室、組織科、宣傳科、財政局、公安局、團委、婦聯(lián)等；1968年3月24日，撤消開陽特區(qū)，并入安順專區(qū)開陽縣（貴州省革命委員會、貴州省軍區(qū)1968年3月14日批準）；1970年安順專區(qū)改為安順地區(qū)；1996年1月開陽劃入貴陽市。