古代生产力不发达，农业是国家根本，而农业又只能靠天吃饭。河南、山西是旱灾多发地带，山西尤甚。于谦在巡抚任上，经常为民祈雨。
地里禾苗抽青，可是老天就是吝啬雨露，旷日持久的干旱带来的是土地龟裂、河流干涸、庄稼枯萎，灼热的太阳烤干了百姓对丰收的期待，也烤得于谦忧心如焚。黄河决堤，于谦可以筑坝、植树，甚至跳入黄河以血肉之躯去阻挡汹涌的水流；蝗虫肆虐，于谦可以率领下属和百姓一起下地捕捉；那么，老天不下雨，于谦只有求助神灵了，那就是祈雨，他希望以自己的赤诚之心感动上苍，拯救百姓于苦难。
无法统计于谦祈雨的次数，但从他的作品中可以知道祈雨是他常常要做的一件事情，于谦很虔诚，为了祈雨，他甚至十余日吃斋饭、戒酒，他的《祈雨蔬食》曰：苜蓿盘中意味长，经旬不近酒杯香。
亦知厚禄惭司马，且守清斋学太常。客底情怀空抑郁，冥中感应岂微茫。黄齑百瓮皆前定，助我平生铁石肠。
有一年河南大旱，首次祈雨后，仍然是天气亢阳、旱气郁蒸、蝗蝻生发，于谦率众再次祈雨，并以他的滔滔文才，作《祈雨丹诚文》，恳求老天普降甘霖：
天以一气而为根，发育万物；人以五谷而为命，并列三才。匪蒙鼓舞之劲，曷遂生成之妙？钦惟玉皇大帝纲惟万类，统摄群生，运化机于无声无臭之间，寓大道于不动不言之表，端拱红云之阙，虽真仙莫睹其容；高居白玉之京，纵鬼神莫测其妙，遂欲称颂，莫既榆扬。
以性情而言谓之乾，刚健不息；因主宰而言谓之帝，崇高无伦。凡有气而有形，咸资生而资始，春生秋杀，化权不爽于毫厘；日照月临，明德弗遗于微小。兹者河南天气亢阳，夏麦不能全收，秋天亦多枯槁，爰因旱气之郁蒸，遂致虫蝻之生发，虽已祈祷，未蒙感应。是皆臣等菲才薄识，窃禄旷官，惟巡抚不合于群情，故叩请难回于和气，措躬于地，获罪于天，不避干冒之诛，庸申恳切之悃，伏愿俯垂示听，下鉴微忱，赦民累劫之愆，宥臣等旷官之罪。请颁恩命，普救生灵，云垂四野而梵气泓罗，雷震八荒而初风静默。挽回和气，天降甘霖，涤虫蝻以消除，润田苗而遂茂。闾阎鼓舞，均风调雨顺之祥；海宇奠安，享天长地久之福。臣等无任瞻天祈恩俟命激切屏营之至。
在山西，他率官吏赴山西治所太原附近的晋祠、烈石祠、城隍庙等处祈雨。
晋祠，亦作王祠，在山西太原悬瓮山下，系纪念晋开国君主唐叔虞而建。现存晋祠始建年代不详，有圣母殿、唐叔祠、关帝庙、水母楼等建筑，及周柏、唐槐和“难老泉”（泉水不因涝旱而增减）等组成。晋祠也是历代祈雨之所。
烈石祠，亦作英济侯祠、窦大夫祠，在山西太原上兰镇，为纪念春秋时晋大夫窦犨而建，也是历代地方守臣及百姓的祈雨场所。宣德八年（1433），山西大旱，镇守山西都督李谦等在烈石祠祈雨后，雷电交加，大雨倾盆，于是要立碑纪念，于谦写下了《烈石祠祷雨感应碑记》，以感激神灵对苍生的眷顾。
有一次，于谦在新城龙王庙请水祈雨，现场举行了很隆重的仪式，新城的父老乡亲都来了，于谦和百姓一起燃香叩拜，手持蘸了水的柳枝，向龙王求雨。令人惊异的是，祈雨仪式一结束，新城的上空阴云密布，顿时暴雨滂沱，新城大地，普沾恩泽，枯萎的庄稼又恢复了生机，于是欢声遍野。于谦很兴奋，写下了一首《新城请水祈雨有应》：
缄香百里叩龙祠，乞得灵泉浸柳枝。
酌水献花罗父老，吹箫击鼓走童儿。
神风静默云生石，和气熏蒸雨应时。
顷刻寰区生意足，从知天地本无私。
当然，世界本没有什么神灵，天降甘霖也不是祈来的，而是自然现象。
有时候，甘霖屡祈不应，百姓处于绝望的境地，以于谦刚烈的脾性，自然会愤怒于神明的冷漠无情。
他有一篇《祭蛤蟆石文》，叙述了当时的这种愤怒：
曰汝以顽然之石，弃于道旁，固无以异于凡物也。故老相传，以谓昔人有欲取汝以为用者，重不能致，遂以为神，且因以形状之似而命以蛤蟆之名，固不雅矣。然物不自灵，囚人而灵，自是遂能作云雨以利一方，出影响以受祭祀。物有神以凭之，能为祸福，理或然也。
且舁举必待于妇人，感应必俟于血食，未免喜好淫亵，邀求祭祀，神之聪明正直者，固如是乎？况今天久不雨，汝享人血食，受人祈祷，或虽近而不及远，或冥然而无所感，徒有害于生命，徒狎近于妇人，是则为物之妖，而非谓神矣。今遣本州牧民官，再遣汝一祭，仍晓以此义，享祀以后，如甘雨施降，远近沾足，则汝得意安居故处，永享血食。如一昼夜不雨，将积薪以焚汝，使之形灭体碎，以绝妖妄。吾言不虚，汝宜听受。
于谦的刚直贯穿于他的一生。即使是被人们奉以为神的东西，如果不能给百姓带来福祉，也要被于谦犀利地怒骂。于谦斥责这块被奉以为神的蛤蟆石，甚至斥其好色贪食，向它发出最后通牒。
虽说祈雨是古人的迷信活动，但于谦作为一方官员，关心百姓的命运，为百姓之乐而乐，为百姓之忧而忧。这种爱民情怀是应该肯定的。