1620년(광해군 12)에 지방유림의 공의로 이색(李穡)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다. 1668년에 신잠(申潛)과 김광원(金光遠)을 추가 배향하고 1681년에 남효온(南孝溫), 1683년에 유호인(劉好仁)을 추가 배향하여 선현배향과 지방교육의 일익을 담당하였다. 그 뒤 대원군의 서원철폐령으로 1868년(고종 5)에 훼철되었으나 1970년 지방유림에 의해 복원되어 오늘에 이르고 있다. 경내의 건물로는 3칸의 사우(祠宇), 4칸의 강당, 4칸의 제숙사(祭宿舍) 등이 있다. 사우의 중앙에는 이색의 위패가 봉안되어 있고 좌측에는 남효온·신잠, 우측에는 김광원·유호인의 위패가 봉안되어 있다. 강당은 중앙의 마루와 양쪽 협실로 되어 있으며, 원내의 여러 행사와 회합장소로 사용된다. 제숙사는 향례 때 제관들이 거처하는 곳이다. 이 서원에서는 매년 9월 9일에 향사를 지내고 있으며, 제품(祭品)은 4변(籩) 4두(豆)이다. 재산으로는 전답 3,300여 평과 임야 5정보 등이 있다.