1705년(숙종 31)에 최찬규(崔燦圭)·최찬기(崔燦基) 등이 지방유림과 협력하여 이세필(李世弼)의 학문과 덕행을 기리기 위하여 생사당(生祠堂)과 흥학비각(興學碑閣)을 세우고 용산사(龍山祠)라 하였다. 이세필이 죽은 이듬해인 1719년(숙종 45)에 위패를 모시고 용산서원으로 개편하였다. 1784년(정조 8)에 화재로 소실되었다가 1789년에 박문수(朴文秀)·이태좌(李台佐)·이형좌(李衡佐) 등이 중건하였다. 선현배향과 지방교육의 일익을 담당하여오던 중 대원군의 서원철폐령으로 1868년(고종 5)에 훼철되었다. 그 뒤 1956년에 최만희(崔晩熙)·홍질현(洪櫍鉉) 등이 중심이 되어 현재의 위치에 복원하고, 이이(李珥)와 송시열(宋時烈)을 추가 배향하였다. 1984년에 다시 이이와 송시열의 위패는 훼철하고 이세필만 단독 배향하고 있다. 경내의 건물로는 3칸의 사우(祠宇), 각 4칸의 동재(東齋)와 서재(西齋), 신문(神門), 고사(雇舍) 등이 있다. 사우에는 이세필의 위패가 봉안되어 있으며, 동재와 서재는 유림의 회합과 학문 강론 및 숙소로 사용하고 있다. 고사는 서원의 관리인이 기거하는 곳이다.