香林室位于宝相寺稍西北，可见建筑遗迹及围墙走向。《日下旧闻考》中关于香林室的描述如下：
寺（宝相寺）后西行约数十步，精舍五楹，檐额曰：“香林室”，内额曰：“幽赏亦异”，联曰：“红篆炉烟看气直，绿苞庭竹爱心虚”。后厦亭额曰：“慧照亭”，轩额曰：“妙达轩”。牌坊一，东额曰：“圣涯道妙”，西额曰：“香海珠林”，亦皆皇上御书。坊下有泉涌出……
香林室是皇帝到宝像寺上香时，皇后及妃嫔的梳妆歇息之所。
