충무사는 이순신 장군(1545 ∼1611년, 본관 덕수, 자는 여해)을 기리는 사당이다. 이 사당은 선조 13년(1580) 7월 이순신장군이 36세 때 이 곳 발포만호로 부임하여 선조 15년(1582년) 1월까지 모함을 받아 파면되기까지 18개월간 재임하신 것을 기념하기 위하여 만들었다. 이 충무사는 1976년 충무공 유적 고흥보전위원회가 구성되어 발포 만호진성 도제산의 남측 기슭, 성곽의 북벽 바깥에 인접한 경사지에 범 군민사업으로1976~1980년(5년간)에 걸쳐 건립하였다. 이 충무사의 전체면적은 4,335평이고 중요 시설물은 영정을 모신 사당(13평)을 비롯하여 내삼문, 외삼문 등이 있다. 이 곳에는 충무공 보전위원회 주관으로 매년 충무공 탄신일인 4월 28일에 충무공탄신제를 거행하고 있다.