佛石寺建於 676 年，即新羅王國文武王（661-681）統治時期（西元前 57 年 - 西元 935 年）。該寺是由義相大和尚（625-702）奉國王之命創建的。義尚在中國唐朝讀書時，聽說唐朝有攻擊新羅的陰謀。聽到這話，他趕緊回家，將消息傳達給國王。這座寺廟的創建是為了祈求保佑國家。

浮石寺因佛殿西側的一塊大石頭而得名，該石頭似乎是漂浮的，而不是由下面的石頭支撐。高麗時期，該寺被稱為仙達寺或興教寺。 1916年的發掘工作中，發現了寺廟修復工作的紀錄。據此得知，無量修殿等建築是高麗初期重建的。 1358年戰亂期間大殿被燒毀，1376年重建。

浮石寺內有浮石寺無量壽殿石燈籠（國寶第17號）、浮石寺無量壽殿（國寶第18號）、浮石寺朝寺堂（國寶第19號）等眾多國寶。佛（國寶第45 號）、浮石寺曹寺堂壁畫（國寶第46 號）、北智裡石佛坐像（寶物第220 號）、三層石浮石寺塔（寶物第249號）、浮石寺旗桿（寶物255號）、浮石寺木刻佛經（寶物735號）等。