갓바위에는 중바위가 있고 삿갓바위가 있는데 보통 삿갓 바위를 보고 중바위 또는 삿갓바위라고들 한다. 바다 쪽에 있는 바위가 마치 스님 두 분이 삿갓을 쓰고 있는 것 같다 하여 갓바위라고 부르며 중바위는 훌륭한 도사스님이 기거 하였다 하여 중바위라 전해지고 있다. 갓바위 전설은 여러 가지가 있는데 진리를 깨달은 경지높은 도사 스님이 영산강을 건너 나불도에 있는 닭섬으로 건너가려고 잠시 쉬던 자리에 쓰고 있던 삿갓과 지팡이를 놓은 것이 갓바위가 되었다는 이야기가 있고, 월출산에서 도를 닦던 도사스님이 상좌스님을 데리고 목포에 필요한 물건을 구하려고 축지법을 사용해서 영산강을 건너려다 상좌중이 잘못 따라와서 건너지 못하고 돌로 굳어졌다는 얘기도 전해 내려온다. 또 다른 이야기로는 아주 먼 옛날 목포에 병든 아버지를 모시고 부지런히 일하며 살아가는 젊은이가 있었는데, 아버지의 약값을 벌려고 집을 떠나 돈을 벌다가 아버지를 돌보지 않아 그만 돌아가시게 되었다. 이에 자기의 어리석음을 깨닫고 사죄하는 마음으로 몇 날 며칠을 굶어가며 삿갓을 쓰고 하늘도 보지 않고 용서를 빌다가 돌이 되었다는 얘기도 있다.