蔡元培没有在政治的洪流中迷失，更没有被权力搞得忘乎所以、利令智昏。在参与了国民党内的一些政治活动之后，很快回归他一生矢志不渝所追求的教育事业。
应该说，这种对政治的有限参与，客观上也使蔡元培获得了实践教育理念的难得资源。因为，对蔡元培来说，南京国民政.府的成立，为实践他教育兴国的理想又开创了一个新的舞台。
1927年4月27日，蔡元培被任命为国民政.府教育行政委员会委员。蔡元培即建议，仿效法国教育制度，在国民政府内不设教育部，而设“中华民国大学院”，作为全国“最高之学术和教育行政机关”。
蔡元培这样做的理由，是“但求办事上能增加效率，不因人设事，致成衙门化”。
他说：“近来官僚化之教育部，实有改革之必要。欲改官僚化为学术，莫若改教育部为大学院。”
他的想法是不让中国的教育事业行政化，而是走上专业化、学术化的路子。
大学院的特点是贯彻“以教育家办教育”的思想。如，在院内设大学委员会，作为全国最高的教育立法机关，这个委员会由各国立大学校长、大学院教育行政处主任、国内专门学者这三部分人组成，委员长则由大学院院长兼任。这个委员会可推荐大学院院长的人选，议决国家教育的重大方案、政策，与政府各个部门保持相对独立。
大学院内设院长一人，总理全院事务，下属办事机构仅设秘书处和教育行政处。
此后，年过六旬的蔡元培有两年光景全力投入了在国内设立大学区的实验。
所谓大学院，乃是参考法国的大学区制而实行的模式。将全国分成若干学区，每一学区以大学院为中心，全学区的中、小学都归大学院管理，不再设立教育局之类的行政机构。这种体制的好处是突出了教育家治校，更尊重教育规律，而且教育在不同的地区的发展也会相对均衡。
蔡元培做北大校长时，深受教育部行政官僚之苦，对官僚统治深恶痛绝，所以很支持这样的体制改革。
1928年，作为大学院院长的他，亲自主持召开了第一次全国教育会议。大学校长及各省教育主管与会，共商教育改革方向。
正是在这次教育体制改革中，蔡元培的美育精神得到了进一步的发扬。
在确定了大学院为全国最高学术教育机构之后，蔡元培进而突出了科学、艺术、劳动三者在教育中的地位：“大学院以科学化、艺术化、劳动化相提倡，大学必须具备这三种精神。”他倡议，要在大学区中设立劳动大学，提倡劳动教育。更要“设音乐院、艺术院，实行美化教育”。
这就在过去已有的德育、智育、体育之外，再加上劳育、美育，德、智、体、劳、美五育并举，方为完全之教育。
而且，在蔡元培看来，美育还要进一步走向社会：“美育为近代教育之骨干。美育之实施，直以艺术为教育，培养美的创造及鉴赏的知识，而普及于社会。”
蔡元培要求大学院把艺术看得和科学一样重要：“艺术能养成人有一种美的精神，纯洁的人格。”