1780년(정조 5)부터 세덕사(世德祠)에서 조광익(曺光益)의 향사를 올렸다. 1790년(정조 15) 자손들이 소(疏)를 올려 선생의 증조 청백리 조치우(曺致虞)도 향사할 수 있도록 청하였으며, 그 다음해 함께 향사를 올리라는 윤허가 내렸다. 1795년(정조 19)에 밀양 사림(士林)들의 공의(公議)로 향사할 뜻을 태학(太學)에 통문하여 청효사(淸孝祠)라 현액하고 춘추로 향사하라는 답을 받았고, 그 다음해에 처음으로 격을 높여 오봉서원이라 하였다. 그러나 1868년 서원철폐령에 의해 훼철되었다. 그 후 후손들의 재숙을 위한 재실을 세워 오봉서당이라 칭하였고, 1988년 청효사를 다시 설립하여 그 전의 현판을 다시 붙이고 신문(神門)을 입덕문(立德門)이라 편액하였다. 1989년에는 위판을 봉안하고 오봉서원을 복원하였다. 1997년 노후한 강당과 정문을 철거하여 옛날의 모습대로 원위치에 중건하고 청효당(淸孝堂)을 실학당으로, 효우당(孝友堂)을 독지재(篤志齋)로 바꾸었으며, 정문을 숭유문(崇儒門)이라 현판하였다.