孙万林出身农民家庭，家贫卖烙馍谋生，身矮力大，三次从军，皆为身高不足未就。清同治初，到德州投营入伍，隶嵩武军张曜麾下，作战勇敢，不久提升外委（清代额外低级官员），不久升为统领。

张曜任河南省布政使时，为御史刘楠以“目不识丁”参奏。孙万林由此警悟：欲成大器，必须读书。此后发愤攻读，暇时手不释卷，由是文墨渐通。光绪十年（1884 年），从张曜入京，疏浚皇城北城河。光绪十二年复从张曜查勘山东河工。张曜就任山东省巡抚，孙万林奉命驻烟台石灰窑，担任修筑宁海州（今山东牟平）至威海卫西山口道路。光绪二十年，中日战争爆发，孙万林部受山东巡抚李秉衡调遣，指挥嵩武中军右营兼招募福字三炮队驻守荣成市，策应先行抗日部队。在桥头遇河防五营溃兵，李秉衡命孙万林兼统应战。日军进至桥头，孙万林率部与敌激战于孙家滩。因兵力不足，退守文登县的龙泉塘、小卢庄、申阁子等地，再与日军交锋，毙敌多人，日军稍退。光绪二十一年驻文登区城内，将原部改为东字正军五营。光绪二十四年驻平度市，归军统夏辛酉节制，涉嫌阎得胜临阵脱逃案被革职，发往军台（设在新疆、蒙古一带的邮驿）效力。光绪二十六年正月，山西省巡抚奏明其冤，赦孙万林回充武卫中军前路前营，任管带。八国联军侵略中国，孙万林改任武卫中军前路统领，恢复原官衔，率军攻打东交民巷外国使节驻地，后改任陕西河州镇总兵。同年十月二十六日慈禧西逃，孙万林护驾至大同市，改授南阳镇总兵。光绪三十年调往四川松潘镇。翌年六月藏民起义，孙万林仅带随从2 人深入藏民区，婉言相劝，罢兵议和。归途中瘴毒气而病死。