Tên của ngôi chùa được cho là bắt nguồn từ việc nó nằm ở phía nam núi Gajisan hoặc núi Seokansan. Được xây dựng vào năm 824 sau Công Nguyên (năm thứ 16 dưới triều đại của Vua Heondeok), ngôi chùa đã bị phá hủy trong cuộc xâm lược của Nhật Bản vào Hàn Quốc (1592-1598) và được xây dựng lại vào năm 1674 (năm thứ 15 dưới triều đại của Vua Hyeongjong). Kể từ đó, nó đã được xây dựng lại nhiều lần. Bao gồm 30 tòa nhà, ngôi chùa là nơi ở của nhiều nữ tu sĩ Phật giáo.



Chùa ba tầng Seongnamsa (Tài sản văn hóa vật thể địa phương số 5) được xây dựng vào năm 824 sau Công nguyên bởi nhà sư Doui, thể hiện mong muốn bảo vệ đất nước khỏi sự xâm lược của nước ngoài. Ngôi chùa ban đầu được đặt ở phía trước Daeungjeon, nhưng được chuyển đến vị trí hiện tại vào năm 1973. Các di tích đáng chú ý khác trong chùa bao gồm Tượng Hòa thượng Doui (Báu vật quốc gia số 369), chùa Sarira ba tầng và Bể nước bằng đá (Văn hóa). Tài sản tài sản số 4).