1668년(현종 9)에 지방 유림의 공의로 박세희(朴世熹)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다. 1670년에 박세훈(朴世勳), 1700년(숙종 26)에 홍섬(洪暹)을 추가 배향하였으며, 1721년(경종 1)에 ‘안곡(安谷)’이라고 사액되어 1729년(영조 5) 사액이 취소되었다가 1740년(영조 16) 회복되어 선현배향과 지방교육의 일익을 담당하여왔다. 1871년(고종 8) 대원군의 서원철폐령으로 훼철되어 위패는 서원부근에 매안(埋安)하였다. 그 뒤 지방 유림과 문중의 협력으로 1976년 복원하였다. 경내의 건물로는 6칸의 사우(祠宇), 신문(神門), 동서 협문(夾門)과 4칸의 강당 등이 있으며, 사우에는 박세희를 주벽(主壁)으로 박세훈과 홍섬의 위패가 배향되어 있다.