自1866年设立了福州船政局后，洋务派们便开始把注意力转到船舰制造和海防建设上来。但是，由于清政府内部对此并不重视，直到70年代中期，洋务派对海防和海军的筹建活动还处于分散的尝试阶段。到1874年日本借助海军的优势，对我国的台湾发动了侵略后，整顿海防和筹设海军的计划才提到了清政府的议事日程。
这年的11月19日，前江苏巡抚丁日昌向总理衙门提出了筹措海防的《海洋水师章程》6条，建议设立北洋、东洋和南洋3支海军，各设提督1人。北洋提督驻天津，负责山东、直隶两省沿海防务；东洋提督驻吴淞，负责江苏、浙江两省沿海防务；南洋提督驻南澳，负责福建、广东两省沿海防务。章程还就三洋水师的舰船配制，提出了具体的建议。总理衙门奏请将丁日昌的章程交沿海沿江各将军督抚，汇入该衙门切筹海防的奏折，在1个月内妥议复奏。到1874年底，各将军督抚的复奏陆续送到北京。1875年3月，清政府就海防问题进行了1个多月的“廷议”，5月30日，做出了如下决定：
1、确立加强海防和建立海军的方针，但由于财力有限，所以拟“先就北洋创设水师一军，俟力渐充，就一化三，择要分布”。并任命李鸿章、沈葆桢两人分别督办北洋、南洋海防事宜。
2、在筹措海防的同时，派左宗棠督办新疆军务，加强西北边防。
3、海防的经费来源：将粤海、潮州、闽海、浙海、山海等5关和沪尾、打狗2口应提4成洋税以及江海关4成内2成洋税，按结分解督办南北洋海防大臣李鸿章、沈葆桢兑收应用；此外，每年提江苏、浙江、江西、福建、湖北、广东等省的厘金银约合200万两，付李、沈2人。两项合计每年共约400万两。
1874——1875年间清政府高级官员中开展的关于海防问题的讨论，促进了中国近代海军的诞生。由于清政府决定“先就北洋创设水师一军”，所以北洋海军一开始就处于优先发展的地位。此后10多年间，李鸿章等洋务派一面在国内造船，一面开始向国外大量购买兵船。
1875——1880年，李鸿章先后委托总税务局赫德向英国的阿姆士庄兵工厂买了10艘小型兵舰，即所谓蚊子船和碰快船，花了近200万两银子。在他的提议下，广东、山东等省也纷纷购置了蚊子船。但李鸿章认为，这些小型兵舰还不足以达到御强的目的，“欲求自强，仍非破除成见，订购铁甲不可”。这时，清政府得知，英国新买下两艘德国制造的“八角台铁甲船”，可以以200余万两的价格转售。李鸿章虽然知道筹款困难，但是决不想错过这一机会，因为“若机会一失，中国永无购铁甲之日，即永无自强之日。”他让驻德公使李凤苞从速订购。
正当李鸿章积极筹措款项准备购买时，李凤苞来信说：英国海军部已更换大臣，新大臣鉴于中、俄关系紧张，英国“碍于公法”，前允转让的铁甲船均作罢论。李鸿章并不灰心，他在总理衙门的支持下，让李凤苞立即在英厂另行订购两艘铁甲船。李凤苞从英、法、德等国船厂探询价格、样式后，于1880年1881年，先后在德国伏耳铿厂定造两艘铁甲船及一艘钢甲船，并由李鸿章派福州船政学堂毕业生刘步蜡等人赴德厂照料铁舰制造工程。1885年，3艘船开回中国，李鸿章分别命名为“定远”、“济远”和“镇远”。这3艘船和一切所属设备及送船来华的费用，超过400万两银子。
1881年，李鸿章又在大沽建造船坞一所，并派陆军提督丁汝昌统领北洋水师。
经过多年的苦心经营，到1884年中法战争前夕，清政府已建立起北洋水师、南洋水师、福建水师3支海军。南洋水师拥有军舰17艘，北洋水师15艘，福建水师11艘。南洋水师掌握在湘系手中，北洋水师是李鸿章的淮系私产，福建水师则掌握在闽浙总督和福建船政大臣手中。三者各自节制，互不统辖。此种弊端，在中法战争中暴露无遗。中法一战，福建水师覆没，南洋水师也遭创伤，只有北洋水师因置身战外，不肯救援，得以保全。
在筹设海防和建立海军的过程中，一些朝野人士开始酝酿建立一个全国性的海防机构，李鸿章、左宗棠等纷纷上书清政府，阐述建立这一机构的重要性。在各方面的要求下，清政府于1885年10月12日宣布成立海军衙门，派醇亲王奕劻总理海军事务，所有沿海水师都归节制调遣，并派奕劻、李鸿章会同办理，善庆、曾纪泽帮同办理，实际主持的是李鸿章。此后，海军衙门在李鸿章的主持下，花了数以千万两计的巨款，采购外国军舰、大炮，建设旅顺、威海卫军港，聘请外国教官训练官兵。经过几年的经营，1888年，北洋舰队正式成立，拥有军舰22艘，其中17艘购自外国，5艘自制。李鸿章聘英国人琅威理等为海军教习，掌握操练大权。不久，旅顺、威海卫和大连军港及相应的船坞、炮台，也先后完工，北洋海军全部建成。
清政府为建立海军动用了很大数量的经费，这大笔经费成了从皇室到各级官僚贪污中饱的对象。海军总理衙门大臣奕劻是慈禧太后的亲信，为了奉迎慈禧的旨意，每年从海军经费中抽拨大批款项，供修筑颐和园和三海工程。过去，人们传说，为修筑颐和园挪用的海军军费达2000万两，但经学者根据档案材料估算，此项费用大约超过600万两。
北洋海军表面的庞大声势，使李鸿章极为陶醉。他在1891年检阅北洋海军后，在给清政府的上书中眉飞色舞地说：“北洋兵舰合计20余艘，海军一支规模略具；”“目前限于饷力，未能扩充，但就渤海门户而论，已有深固不摇之势。”1894年4月，他在又一次检阅后，更洋洋自得地说：“此后京师东面临海，北至辽沈，南至青齐，二千余里间，一气联络，形势完固。”但是，此后不久，早已有侵略中国野心而拼命扩张海军的日本，对中国发动了大规模的侵略战争，也即历史上有名的甲午中日战争。在这场战争中，北洋海军全军覆没，从而宣告了历时30多年洋务运动的完全破产。从此，虽然各类的“洋务”活动仍在进行，但作为特定历史含义的洋务运动已经结束了。
苦心经营多年的海军转瞬间灰飞烟灭，其原因是多方面的。除了日本海军势力强大、且是有备而来外，在当时腐败的风气所影响下的海军的管理，也是造成失败的一个重要因素。当时的北洋海军，为了牟利，有些船舰不务正业，平时不但不进行训练，反而忙于从事商业运输。据外国人的报道，1891年，“中国炮舰和运煤船在烟台与旅顺口、威海卫等海军基地之间，从事日益增多的旅客运输业务。”次年，又有报道说：“大批军舰在本港口（烟台）与旅顺口之间往来行驶，它们无疑是进行定期运送旅客的生意。”1893年的一篇评论中写道：“把军舰作为客轮使用，使欧洲人很吃惊，认为这是很不寻常的。用于此项目的的军舰主要是北洋舰队中较小的炮舰，它们经常往来行驶。……旅客搭乘军舰的船票可以在电报局买到。”军舰不断进行商业运输，不但导致士兵的素质较差，而且使船舰的保养维修很差。在后来的甲午海战中，有些船舰的锅炉已经损坏，由此看来，北洋水师的全军覆没，也绝不是偶然的。