江山自唐武德四年（621）建县起，其治所即在今城区，其县署或许就是现政府所在地，宋以前没有文献记载，宋以后记载斑斑可考。南宋咸淳三年（1267）到元朝至元十三年（1276）共十年间，江山改名礼贤县，一说县治迁礼贤，一说仅改名而已，县治并未迁移，姑存疑。主流观点认为，除上述十年县治在何处有争议外，其余年岁，县治均在今城区。
有县治必有县署，江山县署应当建于建县之时，但元朝以前规模兴替无文献记载。现见江山历代县志记载，旧县署毁于元朝至元十九年（1282），当在南宋小朝廷灭亡之后，元军进入江山之时。修建县署记载最早的是30年后的元朝达鲁花赤（蒙古语，意为“镇守者”，可译作“掌印官”）马合谋。马合谋，字均章，回族人，元皇庆二年（1313）任江山达鲁花赤，为官清廉，办事明快，为同僚中的佼佼者，旧县志有其传记。马合谋始到江山，见县衙仅有简陋议事屋，感慨地说，县署是不可以不修的。于是当即召集县绅毛攀龙等，相率醵集资金，广备建材，首先建立县衙大门、议事厅及厅两翼之廊庑，然后建立厨房、马厩、仓库、值班室和牢狱等配套设施，新县署初具规模。当时衢州知府许应祈曾作碑文记其事。元至正十二年（1352），红巾军湖北徐寿辉部攻入县城，焚烧县署。到明朝洪武初年（1368），知县程万里加以葺修，洪武三年（1370）县丞刘有恒、洪武八年（1375）知县刘瓛相继鼎建；弘治七年（1494）知县杨俊、嘉靖二十一年（1542）知县黄纶重修。至万历九年（1581）知县张斗又重建。时任衢州知府易倣之有碑记记其事。清朝顺治八年（1651），知县孙遂重建内衙，康熙元年（1662）知县万里侯建署内书院，三十一年（1692）知县杨愙重建两廊及谯楼，五十二年（1713）知县汪浩作大规模整修，乾隆十三年（1748）知县刘守城建县署宾馆，二十八年（1763）知县雷士佺重建班房（监狱），三十三年（1768）知县宋成绥捐银修建正堂、书房及头门、仪门等。咸丰八年（1858）县署大部毁于太平军。　
同治七年（1868），知县陶鸿勋复建头门、仪门、大堂、川堂等，县署为之一新，距张斗重建，又越287个寒暑。同治八年、九年知县王景彝和李春和又加以完善并装饰，县署再次鼎新。光绪年间知县洪承栋在位6年，曾留心对县衙作多处修缮。民国22年（1933）县长周心万作部分改建，屏弃古典式建筑，现代建筑模式引进旧县衙，观瞻为之一新。民国36年（1947）县长林希岳又对旧县衙新旧建筑作部分修葺。
至上世纪50年代，我们所见到的江山县政府建筑的规制，大致上就是同治七年后的主要建筑和民国时期作的部分新建。根据清同治十二年（1873）《江山县志》图录，江山县署的规制如下：由外而内，首先为江山县署大门，坐北朝南，面向景星山，衙门西侧为文庙，祀孔子；东侧为武庙，祀关公。进大门后是甬道，两侧建有长长的廊庑，大概是衙役人员值勤的地方。过了甬道是仪门，仪门是衙署大门内的第二道门，是具有“威仪”点缀的正门，过了仪门方是大堂，也称正堂，是县令正式办公事的地方。以前的县令也兼审案的差事，犯人过堂，即在此堂中进行。过了大堂称川堂，川堂是大堂和后堂之间的过渡处所，可以穿行，也可以为县令进入大堂前做一些辅助或准备工作，有时县令上堂时，师爷就在川堂内伺候，待命听用，为县令作不时之需。过了川堂是后堂，后堂是县令平时办公和会见客人及休憩的地方。过了后堂才是内衙，那是县令生活起居所在，常人不能轻易入内。在川堂的西侧，建有库房，库房的后侧有三圣祠，是署内礼佛所在。古县署的纵向并没有现在的大院深，现办公大楼后已是署外，宋江山县令叶端卒于任上，其墓葬即在现大楼后，直至民国时期，叶氏后人还有来人扫墓。90年代江山博物馆曾作考古发掘，发现一些文物和乾隆年代叶氏后人修墓的墓碑。　
县署进门左侧是监狱，用以关押犯人。此项建制，沿延至上世纪70年代初，那时的县政府大门西侧，即是看守所，用以关押未判刑的嫌疑犯，70年代后才搬到下市底，然后是乌木山，然后是乌金山。进门右侧是捕署，管治安，相似当今的公检法，其故址也在原检擦院、法院地址。再往右，是文昌庙，也称文昌阁，是祭祀文昌帝君的地方，故址在原中山路小学（现新闻信息中心），笔者当年到中山路小学读书，长辈也有说到文昌阁读书的。旧时县署内有数井，其中一井名“冷香井”，为明末县令方召殉难处。方召，安徽宣城人，明朝江山最后一位县令，清军兵临城下，为免百姓涂炭，方召毅然开门受敌，自己却尽节投署井而死。其井旧志记载“在署西”，现档案局北侧原有井，现大楼底下也有井，都已填毁，不知孰是，还是其他另有其井，无考。古县署大堂前曾建有“戒石亭”，亭内立戒石，上刻《戒石铭》，内容有定制，为“尔俸尔禄，民脂民膏，下民易虐，上天难欺”，据说是宋太宗颁布，并亲笔书写送戒各地衙门官吏。到了南宋高宗皇帝，又再次颁布并重新书写，可见历代统治者对吏治也是很重视的。这种《戒石铭》，在保留完好的一些旧县衙里还能见到。旧县署大堂前左侧曾两度立过“县令题名碑”，一次在明嘉靖二十四年，知县黄纶立，一次在明万历二十年，知县张斗立。县令题名碑用以刻录历任县令姓名事略，让后人评其“某也廉，某也惠，某也否胥”。也让后之为县令者“历指而数之曰，某也贤，某也不肖”，使其“凛凛乎惟恐士庶将厕我于不肖者之列”。　
旧县署的形制在晚清、民国时期无大改变，至1949年后面貌多有改变，旧建筑逐年减少，新建筑逐年增加。先是在大堂两旁建起两排平房，东边为县政府，西边为县委；70年代拆除大堂，在原址建有一座3层办公楼；80年代在署后再建两幢东西并排的4层大楼，东楼为政府，西楼为党委；1993年拆除3层办公楼，至1995年建成10层现在办公大楼，同年政府大门也彻底重建。至此，旧县署的一切旧建筑全部拆除。今天在大院内唯一能见到的旧物，是后院空地上的5只直径将近80公分的石础和一株根深叶茂的白果树。石础是县堂柱子底下的垫石，看见石础，也可依稀想见当年旧县衙建筑的规制；白果树又名银杏树、子孙树，江山人称之为“阿甲树”，民间传说是元明古树（市林业