明朝洪武元年柴均壽從下圖山遷移到屠山，后柴氏修譜，改為上圖山。

上圖山有句口頭禪：柴李吳屠臧金凌方郎江，反映了當(dāng)時(shí)居民大姓有十姓。

原先隸屬于圖山鄉(xiāng)，解放后建政時(shí)為上圖山農(nóng)會(huì)，1950年為場(chǎng)口區(qū)圖山鄉(xiāng)上圖山村（一村），1956年為東圖鄉(xiāng)五一高級(jí)農(nóng)業(yè)社，1958年為東圖公社上圖山民兵連，1960年為場(chǎng)口大公社上圖山管理區(qū)，1961年為東圖公社上圖山大隊(duì)，1984年3月為東圖鄉(xiāng)上圖山村，2003年12月屬場(chǎng)口鎮(zhèn)。