1938年，日军逼近，校长向省府建议将学校西迁辰溪县潭湾镇。10月，武汉失守，桃源危急，省府令校西迁。学校迁至潭湾后,租用潭湾小学、祠堂和民房并搭建简易木板房办学。虽然，师生学习、工作与生活条件艰苦异常，但却相对安全，教育教学工作得以正常开展。1945年8月，学校迁回桃源旧址。