1824년(순조 24)에 계담마을 뒷산에 창건하였다. 중종 때의 문신인 翰林公 安明世를 主壁으로 모시고 洗馬公 安述을 추배하였다. 그 후 1865년(고종 2)에 대원군의 서원 철폐령으로 훼철되었다가, 1990년에 순흥 안씨 양도공파 종회 안동준 회장의 노력으로 복원이 추진되었다. 1991년 고려의 문정공 安軸을 주벽으로 조선 세종조 명신 안문숙공과 중종조 안한림공, 선조조 안사촌공, 선조조 안세마공의 5위 사당을 준공하고 앞 층계에 내삼문을 세우고 그 안에 묘우로 세덕사를 건립하여 계담서원을 복원하였다. (안향, 안문개, 안축, 안종원, 안숭선, 주세붕, 이황, 이석형, 김일손, 이지함, 안명세, 이이, 안덕린, 안술, 최익현, 홍범식, 김구, 연병호 배향)