1664년(현종 5)에 지방유림의 공의로 조위(曺偉), 박영(朴英), 김시창(金始昌), 박응훈(朴應勳)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다. 그 뒤 1707년(숙종 33)에는 남지언(南知言), 박유동(朴惟棟)을 추가 배향하였다. 1726년(영조 2)에 ‘송계(松溪)’라는 사액을 받았으며, 선현배향과 지방교육의 일익을 맡아오던 중 대원군의 서원철폐령으로 1871년(고종 8)에 훼철된 뒤 복원하지 못하였다. 따라서 위패를 서원터에 매안(埋安)하고 설단(設壇)하여 매년 음력 3월에 향사를 지내고 있다. 그 뒤 1954년경 안삼준(安三俊), 남형우(南衡祐), 박제원(朴濟元) 등을 중심으로 한 유림이 유허비와 비각을 설립하였다.