갑장(甲長)의 산이 힘차게 동쪽으로 뻗어나와 좌우로 펼쳐져 한 구역을 이루니 이를 연악(淵嶽)이라고도 한다. 열악(列嶽)이 서북으로 둘러있고 대천(大川)이 동남으로 감아돌아 수석(水石)이 맑고 기이하며 계류구곡의 탁영담(濯纓潭)과 영귀암(詠歸巖)이 이 산에 좋은 경치이다.(淵嶽書院重建記 中)산명으로 서원에 이름을 한 중심적인 서원으로 상산지(尙山誌)에는 주남(州南) 양산리에 있으니 1553년(명종 8)에 목사 신잠(申潛)이 상주에 세운 서당 17개소 중의하나이며 직접 친히 연암서원이란 네 글자를 크게 현판 하였는데 임진왜란 때 서당과 현판이 모두 불타 버렸다고 한다. 그 후 1601년 (선조 34)과 1658년(효종 9)에도 중건하여 1702년(숙종 28)에 서당에서 서원으로 승격되었다. 이때 박언성(朴彦誠), 김언건(金彦健), 강응철(康應哲)을 배향하였으며 1726년(영조 2)에 김각(金覺), 조광벽(趙光壁), 강용량(康用良)을 추배하였다. 1868년(고종 5)에 서원철폐령으로 훼철되었으며, 1913년 단소(壇所)를 설립하고 1974년 강당을 중건하였으며, 1986년에는 사당을 복원 고유하였다.