이 성은 해발 250m 정도의 파사산 정상을 중심으로 능선을 따라 축성한 석축산성이다. 성의 일부는 강기슭에 돌출되게 자리 잡아 상하류를 한눈에 볼 수 있는 전략적 요충지이다. 파사성은 성벽 등이 비교적 많이 남아 있으며 둘레는 약 1,800m 정도이며 성벽 중 최고 높은 곳은 6.25m나 되며 낮은 곳은 1.4m 되는 곳도 있다. 천서리를 면한 동문지(東門址), 금사면 이포리를 면한 남문지(南門址)에는 문앵(門櫻)을 세웠던 고주형 초석 2기와 평주 초석이 남았고 동문지에는 옹성문지(甕城門地)가 남아 있다.파사성은 신라 제5대 임금 파사왕 때 처음 쌓았다고 전해진다. 또한 동국여지승람에는 선조 25년(1592년)에 임진왜란 때 유성룡의 발의에 따라 승군 총익인 의암(義巖)이 승군을 동원하여 쌓은 둘레 1,100보의 성첩을 중수한 기록이 있다.