牛既然是神，就有无穷的神力，有许多神异的功能，其中之一就是有镇水、安澜的神力。因为我国是农业古国，水利又是农业的命脉，而水多了，又带来水灾，所以，如何控制水源，乃是农业民族的头等大事。兴修水利是农业生产中的要事，利用牛神镇水也是重要的民间信仰。
利用神牛镇水，有许多传说，一种与大禹治水有关，可追溯到夏代的大禹。《中华古今注》：“陕州有铁牛庙，牛头在河南，尾在河北，禹以镇河患，贾至有《铁牛颂》。”
以牛为镇水兽，有一个发展过程。起初为自然神――牛，进而为夔，《山海经？大荒东经》称夔住在东海的流波山上，其状如牛，苍身无角，一足出入水则必兴风雨。在夔的基础上，又演变为无支祁。
唐人李公佐《戎幕闲谈》曾记述大禹用庚辰制服了无支祁，“颈锁大索，鼻穿金铃，徒淮阴龟山足下，俾淮水永安流注海也。”该文称无支祁是猿猴形状，缩鼻高额，青躯白首，金目雪牙，说明唐代民间还流传着大禹锁无支祁，令其镇水的传说。
另一种是与李冰治水有关，这种传说也可追溯到战国时代。传说战国时李冰治水，开凿都江堰时，变成披白授带的牛马同样变为牛的江神斗法。《太平御览》卷八八二引《风俗通》：李冰“拔剑忽然不见。良久，有两苍牛斗于岸。有顷，冰还谓官属令相助曰：‘南向要中正白是我授也。’还复斗，主簿刺杀其北面者，江神死，后无复患。”《蜀典》卷五《斗牛戏》引《太平广记》引《成都记》：“李冰为蜀郡太守，有蛟岁暴，漂垫相望。冰乃入水戮蛟，已为牛形，江神龙跃，冰不胜，及出，选卒之勇者数百，持强弓大箭，约曰：‘吾前者为牛，今江神亦必为牛矣，我以大白练自束以辨，汝当杀其无记者。’遂吼呼而入，须臾，雷风大起，天地一色。稍定，二牛斗于水上，公练甚长白，武士乃齐射其神，遂毙。从此蜀人不水所病。”从上述传说看出，李冰曾以牛为化身，征服了江神，故后人也以铜牛、铁牛镇水患。两种传说虽然时代、人物和情节不同，但有一点是共同的，都是为了对付洪水泛滥，而镇压洪水的神灵都是神牛。
从考古发掘上看，唐代已用巨型铁牛镇水。例如：1988年，在山西蒲津桥遗址附近出土了四尊大铁牛、四尊大铁人。铁牛造型全为黄牛（牡牛），每头牛体长三米以上，重达6万市斤，体魄伟健，气势雄浑。同时出土的四尊铁人，从造型的神情、服饰判断，是汉族和少数民族，每尊铁人重达4000市斤。由此可见当时浇铸工艺的水平，可想该索桥的巨大雄伟。当时对镇水铁牛极为重视，从侧面反映了黄河水患的严重。在这里铁牛除了当作系铁链的铁锚外，还有作为镇水兽之用的意思。宋代铁索桥被冲坏，铁牛也陷入河底，当时的大工程家怀丙和尚精心把铁牛打捞出来。宋人费衮《梁溪漫志》：“本朝河中府浮梁，用铁牛八维之，一牛且数万斤。治平中，水暴涨绝梁，牵牛没于河，募能出之者。真定府僧怀丙，以二舟实土，夹牛维，用大木为权衡状钩牛，除去其土，舟浮牛出。”宋代以后，文人把大禹用黄牛治水的范围越传越广，连三峡都包括在内了。湖北宜昌县西长江北岸有黄牛峡，背有黄牛山，故有“朝发黄牛，暮宿黄牛，三朝三暮，黄牛如故”的民谚。此地原有二妃庙，二妃即娥皇、女英，传说她们从舜南征溺死湘水，故民为其立祠。北魏郦道元《水经注？湘水》：“湘水西流，经二妃庙南，世谓之黄陵庙。”黄牛山是因为高峻重叠，高崖间有色迹如人负刀牵牛，故而得名。山下有滩名黄牛滩。但到了宋代，在此出了一个黄牛庙，供奉黄牛神，并以黄牛庙来称黄陵庙，这是民间传说演变造成的。宋代陆游《入蜀记》：“晚次黄牛庙，山复高峻。其下即无义滩，乱石塞中流，望之可畏。传云，神佐夏禹治水有功，故食于此。黄牛峡庙后山如屏风叠，嵯峨插天。第四叠上有若牛状，其色赤黄，前有一人如著帽立者。”情况说明，在很多地方早已流行用牛作为镇水兽，故黄牛峡上的黄陵庙得以演变为黄牛庙，黄牛峡上的“黄牛迹”又得以演变为黄牛神。传说越传越真，证明了牛作为镇水兽在民间的影响是越来越大了。直到清代，各地除建龙王庙外，也建牛王庙，供牛王神。另外，还在许多地方铸铁牛镇水。在北京颐和园昆明湖畔十七孔桥头就有一尊铜牛。这头铜牛是清代乾隆皇帝为其母皇太后纽祜禄氏祝寿，改建清漪园（即后来的颐和园）时铸造的。
我国古代以牛镇水，是有一定历史原因的：第一，牛本为动物神之一，是陆地上的庞然大物，可以抵挡住洪水的侵袭；第二，五行为古代的根本哲理，人们运用金、木、水、火、土解释世界，以及五行相生相克来看待万物的兴衰，并把许多动物同五行结合起来，如牛属土，土能克水，因此牛能镇水，从而使牛成为镇水灵物。
尽管古代深信铁牛能镇水，但是少数有识之士还是大胆提出了怀疑。如公元761年秋天，成都平原发大水，但是镇水神牛并没有阻挡滔滔的洪水，结果造成严重灾害。杜甫为此写有《石犀行》：“今年灌口损户口，此事或恐为神羞。终借堤防出众力，高拥木石当清秋。先王作法皆正道，诡怪何得参人谋。”明确指出，依靠石犀（石牛）镇水是靠不住的，只有依靠人的力量才能战胜洪水。