杨家祠堂始建于道光16年（1836年），木结构四合院，上下两层，占地770平方米，由大门、戏台、过厅、廊房、正厅组成，呈长方形。戏台为单檐歇山顶，檐下饰如意斗拱，高16米，四根台柱雕龙刻凤，戏台为穿斗式，正殿为抬梁式，整个建筑做工精细，极富民族特色，属县重点文物保护单位。
    杨家祠堂座落在县城东北部的古城墙边。太子少保、果勇侯、镇竿总兵杨芳捐资修建于清道光十六年（1836年）。 祠堂由大门、戏台、过亭、廊房、正厅、厢房组成，是典型的四合院建筑，占地770平方米。戏台为单檐歇山顶，穿斗式结构，高16米，面阔7米，进深8米；檐下如玉斗拱，台柱雕龙刻凤。正殿为抬梁式建筑，山墙为猫背拱，分为一明二暗三间。两边配有厢房。杨家祠堂设计精巧，做工精细。窗户、门、檐饰件均系镂空雕花，整体建筑具有鲜明的民族特色和很高的建筑艺术价值。
    凤凰厅是“苗疆咽喉”的“靖边”重镇，县城则变成所谓“六千居民八千兵”的屯边要塞。由于杨芳兵权在握，地位显赫。尽管官任三品，但统辖部队镇守一方，从祠堂的地理位置上便可见一斑，它是众多早期祠堂、庙宇中唯一一座位于城内的祠堂。虽其建筑不如寺庙宏大，装饰亦不如寺庙华丽，然杨姓为名门旺族，祠堂建筑的规模并不比一般寺庙逊色，整体建筑呈不规则长方形，由高大的门楼、戏台、厢房、及正殿、天井构成，占地800平方米，过门楼为戏台，楼台式，木质结构，楼台翅阁飞檐，相传凤凰城中的杨姓均为大宋杨门宗烈的后代，两边壁画栩栩如生。
    戏台两边有耳房、后台，专供演出者化妆休息。戏台卷棚盘龙结凤、渗门、雀替、台柱精雕细刻，镂空技艺卓绝，飞檐阳刻技艺高超，且一幅画钩沉一段绝妙的民间传说和历史典故。戏台前为占地40平方米的小天井，铺满红砂条石，周边厢房均为二层，为达官贵人家属看戏之处，唱戏之时，锣鼓喧天，热闹非凡，盛极一时；拾三步台阶进正殿，长方形天井鹅卵石铺地，极为讲究，为杨氏宗族祭祠、议事之场所，看烟缭绕，庄重神秘，令人望而生畏。天井周围一楼为回廊，二楼厢房同戏台厢房相通，结构紧凑，布局合理。整体建筑除传统的柱挂结构、坡屋面外，由于明朝中期，宗教的传入及外来文化的侵入，形成了中国西南山城重镇最具特色的建筑典范。历经岁月沧桑，该祠堂曾作为工厂、办公、民宅等用途，尽管维修前历史痕迹显现，但祠堂文化风韵犹存。2001年3月县人民政府拨专款50万对其进行修葺，同年对外开放，现为湘西自治州州级文物保护单位。