1789년(정조 13) 지역 유림에서 유교적 문물과 예의를 중시하였던 김충선의 뜻을 기려 건립하였다. 이후 1868년(고종 5) 흥선대원군의 서원철폐령에 따라 철거되었다가 1885년 다시 지었고 1971년 현재의 위치로 이건하였다. 경내에는 사당인 녹동사(鹿洞祠)와 향양문, 유적비, 신도비 등이 있으며 해마다 3월에 제사를 지낸다. 김충선은 임진왜란 당시 가토 기요마사[加藤淸正] 휘하의 좌선봉장으로 참전하였다가 조선에 귀순하였다. 이후 조총제작 기술을 전수하고 경주, 울산 전투에서 공을 세워 조정으로부터 김충선이라는 성과 이름을 하사받았다. 이후 이괄의 난과 병자호란 당시에도 큰 역할을 하였으며 말년에는 낙향하여 향리교화에 힘썼다.