1901 年 1 月，清政府宣布“新政”。张謇应两江总督刘坤一、湖广总督张之洞邀请，参与了清末改革的纲领性文件《江楚会奏变法三折》的拟稿讨论， 并撰写出《变法平议》，提出了包括普兴学校、酌变科举等改革建议。9 月，清政府颁布“兴学诏”，在全国范围内掀起了兴办新式学校的浪潮。张謇等士绅与学务官员之间在确定办学宗旨、编制中小学课程、编译各科教材等方面达成了共识，尤其是 1901 年 12月至 1902 年 2 月间，受张之洞、刘坤一委派，罗振玉率团赴日本调查教科书的编写，考察教育教学方法和学校管理，这是近代第一次由官方组织的教育专题考察活动。然而，官绅之间也产生了一些意见分歧， 主要集中在两个方面：

第一是要不要学习国外先进的办学经验。张謇、罗振玉等认为应当全方位学习、借鉴日本明治维新后的兴学经验，学务官员们则嗤之以鼻。第二是先办什么学校，后办什么学校的问题。学务官员们主张参照袁世凯在山东首先创办“山东大学堂”的做法，在省城先办江南高等学堂。而张謇等士绅则认为，没有中学毕业生怎么能办大学，没有小学毕业生也没法办中学，因而建议遵循教育基本规律，先办小学再办中学、大学。同时，因为国内缺乏教授数学、理化、博物等课程的师资，那么要普及教育，就必须首先创办培养师资的师范学校。

赴日教育考察团归国后，1902 年的 3 月到 4 月之间，官绅再次齐集江宁展开兴学讨论，这时矛盾进一步激化。其间，张謇、罗振玉参照日本学制，代刘坤一草拟了《学制奏略》，并建议在江宁先办师范和中小学，得到刘坤一的认可。官员们则借到总督府参见、汇报公事的机会，针对张謇、罗振玉的建议，发表不同意见说：“中国他事不如人，何至读书亦向人求法？这是张謇过于相信罗振玉，罗振玉过于相信日本人了吧。”事后， 刘坤一告知张謇说：“你们有关兴学建议，我手下的官员一致反对，这样我也没办法照你们的建议去实施。”于是一方面为调和意见分歧，张謇、罗振玉提出可首先在江宁创办高等师范学堂，这样既能解决兴学师资缺乏的问题，又能兼顾到兴学官员们先办大学的想法。另一方面张謇决定回到南通，依托大生纱厂等实业和其他社会力量，从自办师范学校开始，在南通建设一个示范区，立志“以南通教育，树全国之模范”。

张謇回到南通后，召集地方士绅商量创办师范学校事情。他拿出自己担任大生纱厂总理六年未支取的薪酬两万多两银子作为学校开办经费，利用南通城南千佛寺废址建筑校舍；他说服大生纱厂股东，分出纱厂红利的十四分之一，作为学校的日常办学经费； 他又积极发动亲朋好友和热心公益的地方士绅捐款助学。1902 年 6 月，两江总督刘坤一批准设立“通州民立师范学校”，这是我国第一所独立设置的师范学校，与南洋公学附设师范院、京师大学堂附设师范馆一起成为中国师范教育的三大源头。1903 年 5 月， 学校正式开学，张謇自任总理（校长）。此后直至1926 年去世，师范学校成了张謇心目之中最重要的一份事业，他为之尽心竭力，更留下了“家可毁，师范不可败”的铮铮誓言。

在学校开建过程中，张謇从校舍的规划设计到建筑中的门窗、讲台、桌椅、光线以及厕所等都亲自察看， 开设课程、聘任教习和章程制定等也一一过问。特别是聘任国学大师王国维来校任教，王国维讲授的“伦理” 和“国文典”，成为近代以来中国人第一次在师范学校中教授的两门课程，教育学、心理学、语言学和艺术学学科成为清末民国时期江苏重要的学科基地。

通州师范学校也是清末第一个制定校训、校歌的学校。张謇在《总理开校演说词》中以“坚苦自立， 忠实不欺”为校训。