迴溪村始建于1022年，（洪氏宗譜證明）。因村中有一小溪，河床較低，每遇漲水季節(jié)，出口處率水水位反比小河水位高，導(dǎo)致小河河水回流，故此得名迴溪。迴溪村共有4個(gè)自然村，在小溪上游有一自然村叫上迴溪，因該自然村以呂姓首居又叫呂家，與呂家毗鄰的一個(gè)自然村（約距迴溪1公里）叫臺(tái)子上，是元末明初名儒朱升故里，約離迴溪2公里處，還有一自然村以韓氏為主故得名韓村。
迴溪村有洪、朱、呂、韓、宋、方、崔、項(xiàng)、寧、占、汪等姓氏。2005年總戶數(shù)378戶，1307人。主姓洪氏，始遷祖洪元怡于唐朝因子孫繁衍從休寧黃石遷入。他屬于洪氏十一世后裔，又于宋朝時(shí)分為前、后兩門，前門以十六世祖洪克度為支祖，后門以洪克已為支祖，至今子孫前門已繁衍至45代，后門已繁衍至43代，2005年約存世380余人，南宋時(shí)期建立了洪家宗祠，元末時(shí)期分別建有前、后門和上、下門支堂，下門洪家廳建廳日期為朱升所擇，照壁上“紫微高照”四個(gè)大字和照壁柱上，“豎柱喜逢黃道日，上梁恰遇紫微星”的對(duì)聯(lián)也始于朱升所書。朱升，字允升，號(hào)楓林，迴溪村臺(tái)子上人，生于1299年，死于洪武三年公元1370年，是明朝開(kāi)國(guó)皇帝朱元璋的高級(jí)謀臣，他為明王朝的建立立下了汗馬功勞。他向朱元璋獻(xiàn)的“高筑墻、廣積糧，緩稱王”九字策，相隔600多年后被一代偉人毛澤東所借鑒，弘揚(yáng)了“九字策”精髓，號(hào)召全國(guó)人民深挖洞、廣積糧、不稱霸”深刻闡明了他一貫主張的政治、軍事、外交思想。
洪氏家族中歷史上有十六世洪克已生于紹興丁已年（1137年）登南宋進(jìn)士、授永州教諭。十八世洪延年字明六，生于1208年，登元進(jìn)士。二十世洪佛佑字善祥，生于1361年，明洪武十五年舉鄉(xiāng)貢任廣東韶州府樂(lè)昌縣丞，有德政、邑入名宦，祠后被考察天下清廉第一，調(diào)監(jiān)造南京城，嗣將大用以迪功郎。二十九世洪德新名九經(jīng)字君常號(hào)古雪生于萬(wàn)歷七年已丙（公元1580年），九月歿于康熙壬寅年（公元1663年），為明朝內(nèi)閣中書改授郡司馬，康熙戊辰年恩賜絹米肉綿，深得好評(píng)，還精纂刻玉晶圖章，善詩(shī)文書法、晚年書法更蒼健入神。
客姓宗祠有朱家廳，宋家廳、方家廳等。
村中現(xiàn)存有2棵約千年左右樹(shù)齡的大紅豆杉樹(shù)和一棵二百年左右的大杉樹(shù)，水口還有一棵百年左右的大銀杏樹(shù)，原有水碓3個(gè)，（現(xiàn)已不存在）。水口有一條寬約25米的小河，兩邊是高山，原有一條石板路，是休婺道的必經(jīng)之路，1982年建成鄉(xiāng)級(jí)公路現(xiàn)為鄉(xiāng)道四級(jí)瀝清路。村中有一座始建于乾隆年間的古石拱橋名成溪橋，長(zhǎng)8米，寬4米，現(xiàn)保存完好。解放前有私塾1所，現(xiàn)為迴溪中心小學(xué)，該小學(xué)始建于1950年8月，首任校長(zhǎng)洪觀好（又名洪興良）。村口原有尼姑庵1座，對(duì)面有和尚廟1座，分別建于清朝年間，現(xiàn)已拆毀。原有八角亭1個(gè)（始建于宋朝），呂家大圣亭和韓村陰山亭各1座，均始建于清朝年間，也已拆毀。
臺(tái)子上自然村有“望星臺(tái)”勝跡，為朱升早年所筑，傳說(shuō)朱升夜間常登臺(tái)望星斗，察看天象，因此該村得名“臺(tái)子上”。還有“釣魚臺(tái)”，傳說(shuō)朱升小時(shí)候到迴溪村讀私塾放假時(shí)，常在此釣魚，還有“筆架石”、“硯臺(tái)石”等遺跡。
迴溪自然村中有“大賢廟”和“避賢臺(tái)”等遺跡。傳說(shuō)朱元璋攻打婺源時(shí)，久戰(zhàn)不下，便拜訪朱升，朱升留下錦囊計(jì)后，躲在迴溪一個(gè)廟中，又怕被人發(fā)現(xiàn)，便又躲在河對(duì)面一個(gè)大石壁底下，地面是一塊大平石，看到朱元璋等人走后才回到家中，后人將該廟取名為“大覽廟”，將大平石板取名“避賢臺(tái)”。韓村自然村有一條通往溪口鎮(zhèn)祖源村的石嶺，朱元璋曾路過(guò)此，為思念朱升，他便將此嶺取名為“思賢嶺”。
1952年4月迴溪鄉(xiāng)曾設(shè)在此村，1961年又在該村設(shè)立人民公社。1983年至1991年和1996至2004年曾兩次在該村設(shè)立鄉(xiāng)政府。
該村1968年曾發(fā)生過(guò)震驚原徽州地區(qū)的迴溪“七一二”事件，有46人受株連，31名無(wú)辜群眾遭到非法關(guān)押，受到了捆、綁、跪、吊、打等殘酷折磨，時(shí)間最長(zhǎng)者達(dá)120多天，還有1人自縊身亡。1969年原徽州地區(qū)派出聯(lián)合調(diào)查組，對(duì)事件的-進(jìn)行調(diào)查后，給予平反昭雪，制造事件的原迴溪公社主要領(lǐng)導(dǎo)和直接責(zé)任人均受到了黨紀(jì)政紀(jì)處分。