从建筑形式来看，岛山书院建筑群大致可分为岛山书堂和岛山书院。岛山书堂地区由生活区和讲堂组成，这里是著名儒家退溪李沣居住和教导学生的地方。陶山书院是退溪李沣圆寂后，其追随者为了传承他的教义以及悼念死者而建造的。



岛山书堂讲堂建于 1561 年，是整个建筑群中最古老的建筑。它是李璜（笔名退溪）下乡后为了进一步深造和教育未来学者而亲自设计的。与报告厅一起修建的还有用作学生宿舍的生活区。


陶山书院于 1576 年竣工，即李黄去世六年后。 1572年，李璜祖宗的牌位被安放在尚德祠（宝物第211号）内。两年后，为了搬迁李暝堂（宝物第210号）而修建了正教堂（宝物第210号），并在堂的东西两侧增建了建筑物，该地区变成了书院。 1575年，该校被授予皇家特许状和韩石峰题写的“岛山书院”牌匾，并成为岭南地区的儒学总部。