水利是农业发展的基础，大禹治水自古以来成为一种美谈。开皇四年的大旱使杨坚进一步意识到：农业的发展离不开水，水是农业发展的根本。
在进行一系列经济制度改革的同时，杨坚对水利也十分重视，他下令在全国各地兴修水利。
杨坚刚刚建立隋朝时，都官尚书元晖就奏请“决杜阳水灌溉三畴原”。杨坚很快批准了他的建议。这项工程完成后，三畴原数千顷盐碱地得到灌溉，大大促进了当地农业的发展。
开皇四年（公元584年）五月，杨坚因为渭河多沙，河水深浅不固定，对漕运的丁役深以为苦。六月二十二日，杨坚下诏令太子左庶子宇文恺率领民工开凿渠道，引渭水入黄河。
隋初，京城的粮食大多靠漕运关东地区的粮食，即所谓“漕关东及汾、晋之粟，以给京师”。其中流入黄河的渭水是一条重要的漕运水道。杨坚修建的渠道正是为这一条水道开通的。
宇文恺是隋朝著名的巧匠，曾负责过庞大的新都营建工作。他工作认真细致，在接受杨坚的诏旨之后，他带领工匠，巡察渠道，观测地理地势，最后选择了一条“一得开凿，万代无毁”的路线。方案确定下来之后，杨坚又把开凿运河的工作具体交给两个总督，一个是苏孝慈，他当时任太府卿。史称“于时王业初基，百度伊始，征天下工匠，纤微之巧，无不毕集。孝慈总其事，世以为能”，可见他十分擅长国家工程的组织工作。另一个是郭衍，他被任为开漕渠大监。二人部率水工在大兴城（今陕西西安）西北凿渠，引渭水向东，至潼关后流入黄河，全长400多里，这条渠名叫“广通渠”。修好之后，关东的粮食通过它源源不断地运往关中，“关内赖之，名之曰富民渠”。
开皇七年，杨坚又下令修复山阳渎。山阳渎古名邗沟，是春秋时吴国开凿的一条沟通江淮的人工河。杨坚下令修复此渠，使淮河水从今清江浦经淮安、扬州入长江。
当时，礼部尚书杨尚希很受杨坚重用。杨尚希任蒲州（治所在今山西永济）刺史时，极善于施政。他重视农业，重新引瀵水，设立堤坊，新开稻田数千顷，使农业增收，大大改善了当地人民的生活水平。
河南洛阳人赵轨，是隋初有名的忠良官吏。他先后任过齐州（治所在今山东济南）别驾、原州（治所在今宁复固原）总管司马、硖州（治所在今湖北宜昌西北）刺史等职，因政绩突出，又被任为寿州（治所在今安徽寿县）总管长史之职。寿州的芍陂是古代重要的水利工程，但由于年久失修，芍陂的五门堰已变成一片荒地，荒草丛生，狼藉一片，已经失去了往日的作用。赵轨到任后，大力改革，加紧复修，很快使芍陂恢复原状，重新达到灌田5000多顷的能力，给当地农业生产带来了极大的便利，他也因此得到了当地人民的称颂。
河东汾阴人薛胄，隋初曾被杨坚任为兖州（治所在今山东兖州附近）刺史。薛胄未到任之前，兖州城东的沂水、泗水汇合一处向南流入大泽，常泛滥成灾。薛胄到任后，下令积石修坝，使河水改道西流，“陂泽尽为良田。又通转运，利尽淮海，百姓赖之，号为薛公丰兖渠”。
这些忠良官吏为杨坚兴修水利的措施做出了很大贡献，为隋代水利建设立下了汗马功劳。
经过一系列兴修水利措施，隋朝的水利工程建设迅速发展。包括杨坚在位时开凿的广通渠，疏浚的山阳渎，以及后来隋炀帝杨广时期开凿的从今北京到黄河的永济渠、从板渚（治所在今河南荥阳北）到淮河的通济渠、从京口（治所在今江苏镇江）到余杭（治所在今浙江杭州）的江南河，构成了隋代的大运河，是隋代国内兴修的最大的水利工程。
开皇三年（公元583年），经过长期战乱刚刚建立不久的隋朝，京师仓廪储备不足。为了防备水旱灾难，杨坚下诏在黄河附近的13个州招募，设置运米丁。这13个州是：蒲州、陕州、虢州、熊州、伊州、洛州、郑州、怀州、邵州、卫州、汴州、许州、汝州。在这些地方设置4个转运仓：黎阳仓（在今河南浚县）、河阳仓（在今河南孟县）、常平仓（在今河南三门峡市）、广通仓（在今陕西华县）。各地的运米丁将粮食一个仓一个仓地转运，最后通过渭水运到京师。开皇四年关西大旱，这些转运仓转运的粮食为缓解旱灾造成的饥荒起到了一定的作用。
开皇五年，度支尚书长孙平又上书给杨坚奏道：
“臣闻国以民为本，民以食为命，劝农重谷，先王令轨。古者三年耕而余一年之积，九年作而有三年之储，虽水旱为灾，而民无菜色，皆由劝导有方，积蓄先备者也。去年亢阳，关右饥馁，陛下运山东之粟，置常平之官，开发仓廪，普加赈赐，大德鸿恩，可谓至矣。然经国之道，义资远算，请勒诸州刺史、县令，以劝农积谷为务。”
杨坚非常赞赏这份奏书，特别是他“水旱为灾而民无菜色，皆由劝导有方，蓄积先备”的论述，杨坚尤喜欣赏。
杨坚立即接受了长孙平的建议，下令民间每年每家拿出粟麦1石以下，在当地建立的仓库储存起来，以备荒年赈济。这就是前面所提到的“义仓”。
开皇十五年二月，杨坚下诏说：
“本置义仓，止防水旱，百姓之徒，不思久计，轻尔费损，于后乏绝。又北境诸州，异于余处，云、复、长、灵、盐、兰、丰、鄯、凉、甘、瓜等州，所有义仓杂种，并纳本州。若人有旱俭少粮，先给杂种及远年粟。”
开皇十六年正月，杨坚又下诏，令秦、迭、成、康、武、文、芳、宕、旭、洮、岷、渭、纪、河、廓、豳、陇、泾、宁、原、敷、丹、延、绥、银、扶诸州的社仓，全都归县里安置，统一管理。同年二月，又下诏令交社仓税，上户交1石以下，中户交7斗以下，下户交4斗以下。
这3个诏书，表明社仓此时已经变了性质，它已由民间仓储变为国家仓储，其实质就是剥削农民的一种方式。
隋文帝开皇年间，通过推行均田制，使劳动力和土地得到充分利用；检括户口，使国家的编户大大增加；开凿河渠兴修水利，便于粮食的运输和农业灌溉；广设仓储，大大增加了粮食布帛的储备。这些措施，特别是兴修水利，大大促进了隋朝农业生产的迅猛发展。农业的迅猛发展，使国家的经济实力日益增强，为杨坚灭陈、安定边陲打下了坚实的物质基础。