12岁随父替地主家打短工。17岁时，其父借了5斗米作押金，送他到上海标准机器厂当学徒。1951年8月，进上海浦江机器厂（现
上海锅炉厂有限公司前身）当工人。
1954年，上海锅炉厂承制国产第一台6000千瓦发电设备中40吨中压电站锅炉时，其中关键零件减温器管板，上面要钻2500多个孔。当时厂内设备简陋，主要靠手工操作。李福祥是金工车间钻工，他急工厂所急，连星期天也上书店跑图书馆，查阅有关资料。经过10多次试验，他终于摸索到钻头的新角度，试制成一种新钻头，提高生产效率3倍，解决了钻孔难题。接着，他又先后完成150项技术革新项目，还汇集成一整套钻工先进操作法，使原来的手工操作全部改用机械，生产效率分别提高1～100倍。大家称他为“钻头大王”。同年，他加入中国共产党。1956年，被评为全国先进生产者，出席全国群英大会。次年，厂里试制的20吨锅炉，距离装配出厂仅10天，但其中主要零件腰形法兰，尚未加工出来。该零件精密度高，公差只允许一根头发丝的三分之一，光洁度要像镜子。面对这一加工难题，李福祥主动请战，经过苦心钻研和反复试验，搞出一种不对称多角形刀，解决了这个难题，使产品按期出厂，并提前4个月完成了全年生产任务。
1959年，车间的镗床加工跟不上生产进度，他就主动改学镗床、搞镗床革新。研制成“偏心活络镗排”，代替手工调整，提高效率50%，有的提高6倍。同时，他还完成其他技术革新59项，以6个半月的时间，完成16年零10个月的工作量，被评为全国先进生产者。同年4月，当选为第二届全国人大代表。1960年。他根据多年的实践经验，写出了《论
麻花钻头的先进刃磨形式及其对生产的影响》论文，被聘任为
中国科学院上海力学研究所特约研究员。同年4月，被上海市人民政府任命为工人工程师。1961年，被保送到
上海科学技术大学深造。在学习期间，他先后到
北京市、
天津市、
济南市、
南京市、无锡、
苏州市、
杭州市等地，作巡回操作表演，推广先进操作法，帮助40多个工厂取决了生产难题，向60多个钻工传授了先进技术。并先后向全国各地同行寄送了亲手绘制的工具改革图纸和资料数百份。
李福祥常说：“国家建设的担子是大家挑的，技术革新也是众人的事。一人出众，不算好汉，大家都好，才是英雄。”他在短短的一生中，先后创建了12种高速钻头、3种先进铰刀和2种机械攻螺丝轧具，并实现了319项技术革新项目，相当于40年零9个半月的工作量。1962年10月，不幸患
急性白血病，但他仍坚持整理多年积累的钻工操作经验。1963年8月11日，逝世于
上海市，年仅34岁。他的先进事迹，已被和英国人编的《世界名人大辞典》。