芙蓉村民居据明弘治十年(1497)《陈氏宗谱》开载：“唐末，为避乱世，有陈氏夫妇，从永嘉县城北徙，沿楠溪江就深山坳里，至芙蓉峰旁，只见此地前横腰带水，后枕纱帽岩，三龙抢珠，四水归塘，于是筑屋定居。”至南宋末年，元兵南下，陈虞之率族众拒敌勤王，困崖三载，终因弹尽粮绝，自刎殉国。村被元兵烧为废墟，元末明初重建。世祖为吸取教训，把原分散的田园小村集为一寨，并在寨外围修一至二道石砌寨墙，墙上开铳眼，四向设七个造型各不相同的寨门。
村落平面呈方形，坐北朝南，村落规划，寓以“七星八斗”格局。“星”指道路交汇处方形平台，“斗”指水渠交汇处方形水池，“七星”翼轸分列，“八斗”呈八卦状分布，道路、水系都是结合散布的“星”、“斗”而形成系统的。其规划布局隐喻村寨可纳天上之星宿，望子孙后代人才辈出如繁星。另一方面突出“利为战”的目的，其星可作战时指挥台，其斗贮水，以利战时以水克火，可防火攻。其实际功能则具有耕读、迎贤、尊仕、拜祖、祭祀、拒敌、防火、调节气温、美化村容等多方面。
芙蓉村民居建筑富有特色，它与周围的山水环境高度和谐，粉墙乌瓦，常用挂柱出檐深远，高低错落，疏密有致，粗犷干砌的石墙勘脚，大小、色彩富变化。1991年列为浙江省历史文化保护区。