Công viên Guam nằm trong khu vực xung quanh Heogabawi Rock, một hang đá tự nhiên bên dưới Núi Tapsan. Người ta nói rằng Heo Seon-mun, tổ tiên của gia tộc Yangcheon Heo, sinh ra ở đây. Công viên được xây dựng để tưởng nhớ Heo Jun, một bác sĩ nổi tiếng thời Joseon, người đã sử dụng bút danh Guam. Người ta kể rằng sau khi nghỉ hưu, Heo Jun đã đến Heogabawi Rock để biên soạn cuốn sách y khoa nổi tiếng Dongui Bogam.


Một phần sông Hangang ở đây đã biến thành hồ do việc xây dựng Đường cao tốc Olympic và các chung cư cao tầng xung quanh công viên. Có tượng Heo Jun đang điều trị cho bệnh nhân
và trong hồ có một tảng đá màu tím có lỗ tên là Gwangju Rock. Trước khi xây dựng cầu Yanghwadaegyo, khu vực này từng là nơi du khách sẽ đi phà (Phà Gongam) để qua bờ bên kia.



Tảng đá Heogabawi đủ rộng có thể chứa khoảng 20 người đàn ông, được cho là nơi mọi người trú ẩn trong chiến tranh. Tảng đá Gwangju và Tảng đá Heogabawi là địa điểm của Jechapaeui (tảng đá nơi các nghi lễ được dâng lên Thần Đất và Thần Mùa màng trong thời kỳ Hanseong Baekje). Đây cũng là tên lịch sử đầu tiên được đặt cho khu vực này.