1937年10月，國共兩黨談判達成協(xié)議，將留在湘、贛、閩、粵、浙、鄂、豫、皖八省邊界地區(qū)的紅軍游擊隊（瓊崖紅軍游擊隊除外）改編為國民革命軍陸軍新編第四軍（即新四軍），葉挺任軍長，項英任副軍長。新四軍下轄四個支隊，除高敬亭領(lǐng)導(dǎo)的第四支隊在大別山區(qū)域整編外，新四軍軍部機關(guān)、第一、二、三支隊和特務(wù)營均在皖南巖寺集結(jié)點驗。

1938年2月，新四軍軍部下達命令，要求各部迅速出動，兼程趕往巖寺集合。參加集結(jié)部隊經(jīng)過長途跋涉，戰(zhàn)勝種種困難和阻力，于4月勝利到達巖寺集中。4月5日，新四軍軍部機關(guān)進駐巖寺，設(shè)于巖寺后街的“金家大屋”。

到達巖寺整編的3個支隊、軍部機關(guān)和特務(wù)營共約7300人。其中，第一支隊由項英和陳毅領(lǐng)導(dǎo)的贛粵邊游擊隊、游世雄領(lǐng)導(dǎo)的桂東游擊隊、傅秋濤領(lǐng)導(dǎo)的湘鄂贛游擊隊、譚余保領(lǐng)導(dǎo)的湘贛游擊隊、李步新領(lǐng)導(dǎo)的皖浙贛游擊隊所編成。第二支隊由張鼎丞和譚震林領(lǐng)導(dǎo)的閩西游擊隊、粟裕和劉英領(lǐng)導(dǎo)的浙南游擊隊、彭勝標(biāo)領(lǐng)導(dǎo)的閩贛邊游擊隊及閩南游擊隊所編成。第三支隊由黃道領(lǐng)導(dǎo)的閩北游擊隊和葉飛領(lǐng)導(dǎo)的閩東游擊隊所編成。

為了盡快進入敵后進行游擊戰(zhàn)爭，開辟抗日根據(jù)地，新四軍軍部立即對部隊進行整訓(xùn)、組編和點驗，從政治、軍事、后勤等方面加強部隊建設(shè)，提高指戰(zhàn)員的政治覺悟和軍事素養(yǎng)，具體任務(wù)有三項。

一是充實武器裝備。新四軍原有武器裝備十分陳舊，僅有一些過去使用的老套筒、漢陽造，以及梭鏢和大刀等武器。巖寺集中后，新四軍在巖寺上渡橋創(chuàng)辦了兵工廠，又稱“皖南新四軍修械所”，從制造刺刀到制造槍支、鐵雷、石雷等，為新四軍抗日作戰(zhàn)提供了大量武器。同時，新四軍還通過其他渠道籌集槍支彈藥，充實部隊裝備。

二是加強軍政訓(xùn)練。組織干部戰(zhàn)士認(rèn)真學(xué)習(xí)中央有關(guān)抗日民族統(tǒng)一戰(zhàn)線的方針、政策，要求全軍上下對國民黨當(dāng)局堅持既聯(lián)合又斗爭的方針，堅持獨立自主原則。同時，針對華中地區(qū)平原湖泊較多的特點，加強了對日軍平原作戰(zhàn)戰(zhàn)術(shù)、水網(wǎng)地區(qū)游擊戰(zhàn)術(shù)的研究，掀起練兵熱潮。通過軍政訓(xùn)練，指戰(zhàn)員的思想政治覺悟有了進一步提高，消除了疑慮，達到思想上和行動上的統(tǒng)一。

三是開展民運工作。新四軍成立了民運部，采取多種形式對民眾進行抗日宣傳。新四軍戰(zhàn)地服務(wù)團廣泛開展戰(zhàn)地服務(wù)，軍部文工團深入部隊和群眾進行演出。新四軍還幫助農(nóng)民建立夜校，編寫教材，提高人民群眾文化水平和思想覺悟。民運工作密切了軍民關(guān)系，對推動皖南地區(qū)人民的抗日救亡工作起到重要作用。

巖寺整編標(biāo)志著新四軍組建完成，部隊由分散的游擊隊轉(zhuǎn)變?yōu)橐恢д?guī)的抗日武裝力量，走上抗日前線。巖寺整編擴大了共產(chǎn)黨和八路軍、新四軍的政治影響，宣傳了黨的抗日主張，也打開了新四軍東進和北上抗日的大門，為新四軍以后的發(fā)展壯大奠定了基礎(chǔ)。

為加強對巖寺新四軍軍部舊址的保護，宣傳新四軍的光輝歷史、弘揚鐵軍精神，巖寺新四軍軍部舊址紀(jì)念館于2005年正式建成。2011年，為加強對軍部舊址的保護利用，徽州區(qū)委區(qū)政府啟動實施紅色文化提升項目，對軍部舊址及周邊環(huán)境進行整治擴建。2013年4月28日，新建后的軍部舊址紀(jì)念館正式開館，分為序廳、巖寺集結(jié)、誓師東進、軍民情深、抗日烽火、鐵軍傳承六大部分，以文字、圖片、實物及現(xiàn)代的聲、光、電技術(shù)手段全面展示新四軍的戰(zhàn)斗歷程。

巖寺新四軍軍部舊址紀(jì)念館現(xiàn)為國家級抗戰(zhàn)紀(jì)念設(shè)施、遺址，并獲全國重點文物保護單位、全國紅色旅游經(jīng)典景區(qū)、安徽省愛國主義教育基地、安徽省廉政教育基地、安徽省黨員干部黨史教育基地等殊榮。