记者在现场看到，修旧如旧的玉山古茶市场主体建筑较好地保存了历史原貌。该建筑主要包括茶场庙、茶场管理用房（巡检司）、茶场三大部分，占地３４００多平方米，其中建筑面积１５００多平方米。茶场庙是明代遗存建筑，由牌坊式门楼、天井、庙宇组成，庙宇供奉着被当地民众奉为“茶神”的许逊。庙内雕梁画栋的图文展示着独具特色的地方茶文化历史。茶场管理用房由门楼、天井、办公用房及两排边屋组成，主要为官方市场管理、征税的办公场所。茶场为两层走马楼房式的大四合院，建筑按古代交易市场布局，厢房住人、储物，正楼品茶、交易。记者看到现场有两座石碑的碑文记载着当时朝廷委派东阳县衙对玉山古茶市场进行管理的情况。
玉山镇委书记孔令维介绍，玉山古茶市场建筑初建于宋朝，现存建筑较大部分为清乾隆辛丑年（１７８１年）重修。在文革期间由于当地民众的巧妙保护没有遭受到破坏。２００８年６月，磐安玉山“赶茶场”被列入国家非物质文化遗产保护名录。
目前，由浙江省财政拨款修缮的磐安玉山古茶市场建筑主体已经完成，并重新划定公布了玉山古茶市场的保护范围和建设控制地带，决定在古茶市场周边恢复重建万亩茶园基地。
