신라30대 문무왕 13년(673년)에 의상대사가 창건하였다. 전설에 의하면 물아면 개단리에 지림사라는 절이 있었는데 하룻밤 묶게 되었는데 지금의 축서사 자리에 밝은 빛이 비추어 이곳에 찾아오니 비로자나 부처로 인하여 빛이 일어 이곳에 축서사를 건립하였다. 한다. 축서사의 내역은 인도에서 신성시하는 독수리(鷲)는 불경에서 문수보살의 화현으로 상징되므로 이곳에 살고 이는 독수리를 의미 한다고 전한다. 조선조 제19대 숙종31년(1705년)에 기록한 법당의 상랑문 기록에 의하면 절 앞에 광명루라는 큰 누각이 있었으며 법당이 5채 승방이 10채 있었다고 한다. 그 외에도 천수암외 1개소가 해발1000M지점의 문수산 정상 가까이 있었으며 50여 승려가 수도하여 오다가 화재로 절 전체가 불타 없어지고 100여년 전에 법당일부가 중건되었다.