为了发展南北漕运和方便乘舟巡游全国，隋炀帝继
刘恒时修建
广通渠之后，大业元年(605年)，炀帝首先下诏征发
河南省、
淮北市诸郡百万民工开通济渠，自
洛阳西苑引谷、洛二水入
黄河，又自黄河入
古汴河，循
春秋时
夫差所开运河故道，引汴水入泗水抵
淮河。又循夫差故道沟，开挖自
淮安市(今江苏
淮安区)至扬子(今江苏
仪征市)入
长江的河道。由是
通济渠、
山阳渎沟通了黄河、淮河、长江三大水系。开通运河工程浩大，一百三十万民工全线同时进行，仅用一百七十一天便告竣工。此外又从
长安到
扬州市沿途修建离宫四十余所，渠广四十步，两岸种柳。运河边上修建大粮仓，为漕运贮粮之所，其中最著名的有黎阳仓(今
浚县东南)、
洛口仓(今河南巩县东北)、回洛仓(洛阳城北)、含嘉仓(洛阳城北)。
大业四年(608年)
隋炀帝又征发
河北省百万民夫开
永济渠，引
沁河南至
黄河，北接
卫河，经
天津市抵涿郡(今河北涿县)。大业六年(610年)，炀帝再征发江南民夫开江南河，自
京口区(今江苏镇江)至余抗(今浙江杭州)。总之，隋在六年时间中，共开通南北运河二千八百余里，可称人类运河史上最大的工程。