세조 때에 경상남도 거창과 산청지방 유림의 공의로 문익점(文益漸)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다. 그 뒤 이색(李穡)을 추가 배향하고 ‘매산(梅山)’이라고 사액되어 선현배향과 지방교육의 일익을 담당하였다. 병자호란 때 문익점의 후손인 문겸(文謙)이 현재의 소재지로 이건하였으며, 대원군의 서원철폐령으로 1868년(고종 5)에 훼철되었다. 1952년에 여주경찰서장으로 취임한 문상규(文相圭)가 복원하여 오늘에 이르고 있다. 경내의 건물로는 3칸의 매산사(梅山祠), 12칸의 강당, 내신문·외신문 및 동·서 협문 등이 있다. 사우인 매산사에는 문익점과 이색의 위패가 봉안되어 있으며, 강당은 유림의 회합 및 학문의 토론장소로 사용되고 있다. 매년 3월 중정(中丁)에 향사를 지내며, 제품(祭品)은 6변(籩) 6두(豆)이다.