幽居寺位于灵寿县城西北55公里沙子洞村北侧。周围群山环绕，山村、宝塔相互辉映、群峰叠翠、风景秀丽、环境幽静，故名幽居寺。
该寺创建于东魏末年至北齐天保年间，定州刺史、赵郡王高郤为其亡父、母、伯、兄、妻及自身功德，在原地基础上，进行了大规模整修和扩建，据《灵寿县志》记载：“北齐赵郡王高郤，历选太行胜概，得朱山之阳，建祁林寺(即幽居寺，亦名祁林院)置僧舍二百余间，择行僧二千余众居之。齐亡寺也荒废，继盛于元大德间，今殿宇规制虽无，当日之盛，而奇峰四列，林豁幽丽，山灵固自无损焉”。可见幽居寺其殿宇禅舍，早年即已毁圯。现幽居寺尚保留砖塔一座，经幢一座，石碑四通，石造像21躯，是这座当年规模较大的佛教寺院历代变化的历史见证。
古朴庄重的幽居寺砖塔，今傲然屹立在幽居寺遗址。砖塔密檐七级，唐代重修，高约23米，平面呈正方形，建在一个砖砌台基上，第一层较高，往上逐层递减，每层塔檐为棱角砖牙叠涩外出，塔顶用仰莲托着塔刹。第一层有门可入内，塔内立有北齐碑一通，石造像三躯，以上六层共有大小石造像16躯。
幽居寺塔制作庄重优美，对于中国古代建筑史的研究，具有重要价值。1956年，河北省人民政府公布幽居寺塔为河北省重点文物保护单位。
