吴俊升生于江苏省如皋县车马湖乡。1919年
如皋高等师范学校毕业后任
江苏省如皋师范学校附属小学教员一年。1920年考入南京高等师范学校（1923年改为
国立东南大学，后又改名台湾中央大学、
南京大学），1924年卒业于教育系，次年补足学分获东大
学士。毕业后曾在南京高师附中任教。
1928年赴
巴黎大学留学，1931年获教育哲学博士学位。回国后历任
北京大学教育系教授兼系主任、
安徽省教育厅主任秘书、
国民政府教育部高等教育司司长、台湾中央大学（南京大学）教育学院（今
南京师范大学）教授等职，最后担任
香港中文大学新亚书院第二任校长。
吴俊升毕生致力教育，曾问学于美国著名哲学家和教育家
约翰·杜威（John Dewey） ，对杜威教育思想有研究并受其影响，有“中国杜威”之称。他在
巴黎大学的博士论文即为《杜威教育学说》，而当时杜威正被巴黎大学授予荣誉博士学位，以后又曾编撰《约翰·杜威教授年谱》等。
吴俊升夫人
倪亮，为南京高师同班同学，亦为中国大学男女同校的第一届八位女大学生之一，并和吴俊升同获巴黎大学博士学位。