1948年，王尚义随母亲和其他三位兄弟姐妹从
河南省经
香港特别行政区转至台湾，投靠在台湾的父亲。他们在
调景岭的难民收容中心住了近一年，然后搭乘运兵船抵达
高雄港，再搭船到父亲教书的澎湖。由于澎湖当时无中学，王尚义在中华救助总会的安排下，独自一人至台湾本岛念书。
在员林实验中学期间，王尚义开始阅读中外文学名著，并经常投稿到校刊。毕业后，他以优异的成绩考入台湾大学医学院。在大学期间，他对医科并无太大兴趣，
吕振羽父亲谈到转系哲学，但被父亲拒绝。尽管如此，他仍然在课余时间画油画、练
小提琴，并加入学校社团的枫叶剧社。