杨辉公祠是芷溪杨背杨氏裔孙为纪念九世祖辉公而建，座落在芷溪热闹繁华的拱桥店古街南端，是连城县第六批文物保护单位。
　　杨辉公祠大约于清雍乾年间始建，清末扩建，总占地面积800平方米左右。祠堂坐东向西，为梯状布局的后围居室半包围结构，以厅堂为中轴线排连，整座祠堂均匀对称，由上厅、下厅、大屋间、回廊、天井和两侧耳房等组成。上厅略高，左右大屋间略低，左右回廊各有一扇门，回廊低下一阶连接下厅。上厅正堂设神龛，正中悬挂芷溪杨背杨氏九世祖辉公和十世祖延贵公考妣画像，像后为辉公牌位，神龛上方悬挂一块木质匾额，题书“恒德堂”，书体取正楷，笔酣墨饱，冠冕浑成。左右各有一小神龛，原是左昭右穆的先祖牌位。上厅左右两壁白底黑字题写“忠孝廉节”四个大字，为模仿南宋理学名家朱熹书法风格。上厅前为拱型卷棚顶，卷棚每隔约一尺用雕成竹节状的拱形木条镶嵌固定，美观实用。整座祠堂的地板都用三合土夯打而成，坚固耐磨，光滑如镜。所有屋梁两端都有精美雕刻，上、下两厅主要以“四点金”支撑，中心为大天井，因此祠内光线充足、空气畅通。
　　祠堂建成时，门前有一个360平方米左右的鹅卵石砌图案的雨坪，大门两侧立石鼓一对、石狮一对、石旗杆二对，左侧挖有一口水井，井边立有一座贞节石牌坊。雨坪前为一月池，植有荷花，月池后建有台面4.5米宽的戏台。过去，喜庆吉日常有戏曲演出，土地革命时期的万人大会和镇反时期的宣判大会也都在此戏台举行。苏维埃时期，芷溪成立娱乐文化俱乐部，芷溪汉剧团在此戏台演出过《赤叶河》、《白毛女》等大型歌剧，并且一直兴盛到全国解放。因文革毁坏和建供销社，现仅剩石鼓和石狮，门前雨坪则改建成农贸市场。杨辉公祠历来是芷溪的娱乐文化中心，文革后设为文化室，祠内报刊杂志齐全，每逢春节期间常有举办猜灯谜、象棋比赛、古乐演奏等文娱活动，2004年辟为芷溪文化中心民间乐队活动室。
　　祠堂大门原有一座二层的斗拱木牌楼，斗拱下方悬挂“杨氏家庙”牌匾。一般来讲，只有当地的开基祖或者是上代祖宗的祠堂才可以称家庙，而辉公位列杨背杨氏九世祖，其祠堂称家庙，足见辉公在杨背杨氏家族中的地位。辉公生于明成化二年（1466年），卒于嘉靖三十六年（1557年），其伟大功绩在于带领子孙艰苦创业，把原是一片沼泽的湖洋塘开发成为宜耕宜居的美丽家园。辉公一脉现已传至二十九代，芷溪杨姓多数为其后裔。祠堂现存四块子孙的功德牌匾，分别为杨显桂、升秀、杨锋、成章、成高五代裔孙仝立的“州司马”、杨彪、杨斌兄弟的“兄弟登科”、杨建的“经魁”和杨焕藜的“孝廉方正”。其中，杨显桂是将古苏州花灯传入芷溪之人，杨彪、杨斌兄弟则是乾隆庚午同科同榜的武举人，“兄弟登科”在乡梓一时传为佳话，杨彪次年还联捷武进士。其他裔孙中，仕宦或是商贾都有大成之人，余庆堂堪称芷溪的书香门第，一脉连续七代出秀才，更有“一巡二院三典史九文十武四监生”，杨登璐、杨福、杨廉等裔孙曾任知县闻名于外，杨云岩和杨峻亭、杨西林父子三人还成就了“两代三个百万公”。
　　杨辉公祠因为座落于市，且左侧有水井，所以过去很多屠夫都在门前雨坪屠宰猪牛，但是祠堂内从来闻不到腥臭味，因此“门前屠宰场，祠内无腥臭”被称为芷溪三奇之一。据说，杨辉公祠是虎形，两侧耳房为虎爪，大门外的栅栏为虎牙，故而有人提出“老虎吃肉”的怪诞之说，是否与祠内建筑材料有关，抑或是建祠时做过化学处理，真正的答案尚待科学解答。