石祖黄，别号次公，1904年出生于湖南省邵阳市。石醉六之侄。1926年3月13日，石祖黄和叔叔石陶钧离上海市赴广州市，石进入黄埔军校第六期入伍生总队学习，1928年编入军校第六期第一总队步失前三大队学习，1929年5月毕业。

石祖黄1932年4月考入陆军大学正则班第十一期深造，1935年4月毕业后历任军政部少校科员、军政部次长陈仪的中校随从副官、军政部第六处上校科长、第十四师第七十九团团长。

1938年，石祖黄任第一八五师参谋长，不久任该师第五四六旅旅长。1939年，石祖黄任长江上游江防总司令部参谋长。1940年，石祖黄任第一八五师师长。 1941年10月14日，日军向母猪峡发起猛攻，企图跨过长江天险，突破江防“石排”要塞，插进湘蜀边境，然后直逼重庆陪都。第六十六军第一一三师师长石祖黄亲临战壕，指挥战斗，鼓舞士气。一天打退了日军第六师团的五次进攻。1941年12月底，施巴警备司令石祖黄将叶挺迎至恩施土家族苗族自治州。率部参加随枣会战、常德会战。1943年10月5日，石祖黄任国民革命军第十八军副军长。

1943年，石祖黄毕业于国防研究院战术班后，任驻苏联大使馆武官。后赴美国陆军装甲学校学习装甲部队机械化战术，1945年11月，装甲兵教导总队在重庆成立，石祖黄任总队长，辖有四个战车团、一个装甲炮兵团及搜索、工兵、重等营，另辖有战车修理工厂。战车第一团是由陆军第四十八师装甲兵团及驻印军战车第一营扩编，驻地在徐州市，团长谌志立，继任蒋纬国。战车第二团是由原来战车第二团编成，驻地在郑州，团长郭彦。战车第三团是由驻印军战车第二、三营为基干和接收日军的战车所成立，驻地在北平市，团长张广勋。第四团赴东北地区原预定接收日军战车，但到达时日军战车已被苏联军队交给中共，故改为装甲汽车团，团长是鲍熏南。装甲炮兵团由驻印军第一、二营炮兵连及第四十八师炮兵营等单位编成，团部及第一、三两营驻河南商邱，第二营随战车第三团驻北平，团长曾荫槐。

1946年下半年，石祖黄调任国防部高参。1947年8月，陈诚任东北行辕主任，带了得力干将车蕃如、石祖黄、戴朴等赴东北上任。1948年9月22日，石祖黄晋升陆军少将。1949年，石祖黄移居香港特别行政区， 在香港只呆了很短时间就去了台湾省，上世纪50年代还担任了“反共救国委员会”主任，后来退休，据说养鸡度日。