1984년 5월 17일 충청남도문화재자료로 지정되었다. 2012년 해제되었다가 같은 해 12월 31일 문화재자료로 지정되었다. 1716년(숙종 42) 안경신·안경인·안경정 등이 고려 때의 학자 안향(安珦:1243∼1306)의 영정을 봉안하고 매년 3월 3일과 9월 9일 향사를 지내다가 고종 때 서원철폐령에 따라 훼철되었다. 그 후 후손들이 합호사(合湖祠)를 건립하여 춘추로 향사하다가, 1949년 전국 218개 향교의 동의를 얻어 합호서원을 부설하였다. 정면 3칸 측면 2칸의 맞배지붕 기와집으로 현재 연기유림회 주최로 매년 9월 12일 안향의 제삿날에 제사를 지낸다. 안향은 순흥(順興) 출신으로, 호는 회헌(晦軒), 시호는 문성공(文成公)이다. 1260년(고려 원종 원년) 문과에 급제하여 교서랑(校書郞)이 되고, 1270년 삼별초의 항쟁 때 강화에 억류되었다가 탈출한 뒤 감찰어사(監察御史)가 되었다. 1286년(충렬왕 12) 왕을 따라 원(元)나라에 가서 연경(燕京)에서 처음으로 《주자전서(朱子全書)》를 보고 필사하여 고려로 가지고 들어왔다. 이후 성리학 연구에 몰두, 고려 말기의 유학 진흥에 큰 공적을 남겼다.