1802년(순조 2)에 창건되었으며, 1868년(고종 3)에 대원군의 명으로 헐어서 걷어 치우고 그 자리에 애석한 마음을 새겨 비를 세웠다. 1914년에 그곳에 강당만을 세웠다가 1959년에는 이 고을의 선비 이만영(李晩永) 박원동(朴元東) 이현돈(李鉉墩)등이 각지 유림에서 재건의 호소문을 내고 본손인 김연식(金淵植) 철규(喆圭) 석규(錫圭) 정연(貞淵) 정수(正洙) 등이 사방에서 모금하여 1961년에 봄에는 본당인 세충사(世忠祠)를 다시 세워 종전의 주향만 봉안 하고 별묘까지에는 힘이 미치지 못하여 본당을 가로막아 동에는 삼현(三賢)을 향배하여 춘추로 향사하고 있으며 지금 이만 영의 상량(上樑) 송문(頌文)이 있다.