화담사는 하동 정씨인 묵은공 정희를 주벽으로 그의 아들 문경공 정초, 손자 문절공 정수충과 약포공 정오도, 여흥민씨인 충장공민제장을 모신 사우이다. 이곳은 옛부터 꽃이 많다고(군분)하여 화담이라 불렸으며 하동정씨가 이곳에 정착하게 된 것은 보성군수를 역임한 정화가 살기 시작하면서부터이다. 화담사는 1735년(영조 11) 경사에 능하며 예법을 지키고 청렴결백한 문절공의 영정을 모시는 영당에서 출발하였다. 문절공의 영정은 정화가 이곳으로 오면서 가지고 온 것이다. 그 후 1776년(영조 52) 사우 건축을 발의하여 1784년(정조 8) 문절공의 위패를 봉안하였다. 1796년(정조 20)에 광주향교유회소의 발의로 이인좌의 난을 평정하는데 공을 세운 광주 출신의 충장공을 추가로 배출하였다. 1809년(순조 6) 충청도 유회소가 발의하여 정몽주의 제자로 충절을 지킨 묵은공과 세종대에 학문, 예술, 과학 기술 등에 업적을 쌓았으며 청백과 도덕이 높았던 문경공을 1910년 추가 배출하였다.1868년(고종 5) 대원군의 서원 철폐 조치에도 지붕을 덮고 제사만 폐하였다가 1905년 광주향교 유회소 의 발의로 복설되었다. 1906년에는 광주 유생들의 발의로 광주 관찰사에게 상서하여 충효가 출중한 광주 출신의 약포공을 추가로 배출하여 현재의 틀을 갖추었다.

약포공은 송시열의 제자로 처음 광주 지산사에 배출되었으나 서원철폐령에 의하여 서원이 철폐되어 조상들이 모셔져 있는 이곳에 추가 배출된 것이다. 이곳의 건물 배치는 제향 구역과 강학 구역을 지반아를 주어 조성한 전학후묘 양식으로 가장 뒤에 화담사를 안치하고 그 앞에 내삼문인 양양문을 두었다. 이곳에서 계단으로 내려가는 중간에 동재와 서재를 두고 그 밑에 외인문을 배치한 전형적인 서원 건축양식을 갖추고 있다.화담사는 정면 3칸, 측면 1칸으로 앞 뒤에 마루가 있는 맞배지붕이다. 앞면의 마루는 개방되어 제향의식을 편리하게 한 사당 건축의 특징을 보여주고 있다. 앞부분의 문은 굽널을 둔 빗살문이며 겹처마이다.평면구성은 앞에는 원형기둥을 세우고 중앙부는 사각기둥을 세워 앞마루가 퇴마루를 구성하지 않는 개방형이다.청지재와 열호재는 동재와 서재가 같은 양식으로 건립된 정면 4칸, 측면 1칸의 맞배 지붕이다. 평면 구성은 앞에 마루를 두고 모두 온돌방을 놓았다.