衢州，四方通衢，为浙、皖、闽、赣四省的十字路。而江山县，则是衢州府这条十字路中的西、南大道。其境内仙霞关为入闽咽喉；安民关通处州之遂昌；二渡关接江西上饶、永丰。另有木城（属浦城）、黄坞、六石（属永丰）三关各通其道，合称仙霞六关。
清初江山县舆图
按《汉书》记载，西汉武帝时，东越王余善反复无常，屡次不听朝廷命令。汉武帝召集臣子询问征伐之事，中大夫朱买臣说：“故东越王居保泉山，一人守险，千人不得上。今闻东越王更徙处南行，去泉山五百里，居大泽中。今发兵浮海，直指泉山，陈舟列兵，席卷南行，可破灭也。”
1735年清代江山县廿八都塘汛图
意思是东越王原先屯兵保泉山（即后来的仙霞关），易守难攻，如今放弃天险不守，却迁徙南行五百里（指东越建都温州），今只需发水军沿海而行便可破灭东越。
清末江山县城图
清末日本同文书院大旅行途中所绘江山县城简图
唐武德四年（621年），平李子通伪吴，朝廷新置衢州，又分信安县（即故衢州西安县）之南川置须江、定阳二县隶于衢州之下，其中须江县即江山县之前身，县名“以县南有江郎山，北有须女泉故名”（亦有说是因须江得名）。武德八年（625年），须江县被废。
1932年国民政府陆军部测绘江山县城
唐永昌元年（689年），复置须江县，属衢州。乾符五年（878年），黄巢率军转战江南，为进军福建，于须江县南山区开辟径道直趋建州，由此形成仙霞古道的雏形，在古代，这是由浙入闽的唯一陆上通道，并在此屯兵扎营，扎营之地因仙霞古道形成聚落，俗名“道成”。
江山明清城池范围示意
后唐长兴二年（931年），吴越王钱镠改须江县为江山县，仍属衢州。北宋始建仙霞关，熙宁四年（1071年）江山设都四十四，道成之地排行第廿八（廿即二十之意），遂得名廿八都。南宋绍兴末，史浩（太子府官，为岳飞平反的主力）募人以石铺路，使得仙霞古道稍就宽平。
仿制民国时期江山县城街巷示意图
南宋咸淳三年（1267年），改江山县为礼贤县，县治徙礼贤太平寺。元至元十三年（1276年），灭南宋，复礼贤县为江山县并迁回旧治，同时在仙霞关设军营。
民国时期浙江省江山县乡镇区域详图
民国时期浙江省江山县图
按衢州府志记载，江山县旧有土城，明代仍有遗址，至清中期后无存。明隆庆元年，因苦于山区矿工起义时发危及县治，知县余一龙筑城设防，城垣延袤一千丈，高二丈有奇。开通昌、通禄、通宁、通安、通化、通兴、通贤、通福、通和九座城门。
民国时期江山县全图
清代初江山县城驻扎衢州镇標右营辖官兵342人；城守营官兵21人；另凤林汛官兵46人；枫林营官兵502人（三藩之乱战时一度增兵至1500人）驻扎廿八都分防仙霞关、溪口、峡口、清湖。雍正七年兵部又移衢州协左营守备移驻江山县。
被发现的通安门额
二战末美军航空测绘的江山县周边地形图