1754년(영조 30)에 이신의(李愼儀)의 학덕(學德)과 충절(忠節)을 추모하기 위하여 호남의 유림(儒林)이 건립(建立)하였다. 1868년(고종 5) 대원군은 향호유림(鄕濠儒林)의 소굴이며 당쟁(黨爭)의 본거지인 서원이 경제적 폐단까지 겹쳐있어 그 피해가 극심함으로 서원 폐지령(廢止令)을 내려 훼철(毁撤)을 단행하였다. 1901년(고종 38) 서적과 거문고 유품을 임시로 보관하기 위해서 금서재(琴書齋)를 지었다. 서기 1919년 봄 경장각을 짓기 위하여 18년이 된 금서재(琴書齋)를 철거하였다. 서기 1919년(己未) 건립 (建立), 금서재(琴書齋)는 제도가 비천하고 풍우(風雨)와 수화(水火)가 걱정이 되어 철거하고 기미년 봄에 후손들이 의논하여 옛 사우(祠宇)가 있던 자리에 경장각(敬章閣)을 건립(建立)하였다. 서기 2000년 (庚辰) 유애사 사우건립 (遺愛祠 祠宇建立) 사우훼철 (祠宇毁撤) 後 81년 만에 敬章閣 후면에 화려한 단청 사우(祠宇)를 마련 석탄공(石灘公) 할아버지를 모시게 되었으며 2005년 6월 20일 유애서원(遺愛書院)으로 성균관(成均館)에 등록하였다.