记者在现场看到，修旧如旧的玉山古茶市场主体建筑较好地保存了历史原貌。该建筑主要包括茶场庙、茶场管理用房（巡检司）、茶场三大部分，占地３４００多平方米，其中建筑面积１５００多平方米。茶场庙是明代遗存建筑，由牌坊式门楼、天井、庙宇组成，庙宇供奉着被当地民众奉为“茶神”的许逊。庙内雕梁画栋的图文展示着独具特色的地方茶文化历史；茶场管理用房由门楼、天井、办公用房及两排边屋组成，主要为官方市场管理、征税的办公场所；茶场为两层走马楼房式的大四合院，建筑按古代交易市场布局，厢房住人、储物，正楼品茶、交易。记者看到现场有两座石碑的碑文记载着当时朝廷委派东阳县衙对玉山古茶市场进行管理的情况。
据玉山镇委书记孔令维介绍，玉山古茶市场建筑初建于宋朝，现存建筑较大部分为清乾隆辛丑年（１７８１年）重修。２００４年１２月，国家文物局古建筑专家组组长罗哲文率国家文物局、建设部专家团对此进行考证发现，这是我国唯一现存的古代茶叶交易市场，而且有与古茶市场遗迹相联的保存完整的系列茶文化，填补了我国文保史上茶文化的空白。专家称玉山古茶市场建筑是中国茶业发展史上的“活化石”。２００８年６月，磐安玉山“赶茶场”被列入国家级非物质文化遗产保护名录。
