清廷只开放广州与外国通商，远远不能满足国际贸易的需求。清朝皇帝自以为天朝大国，物产丰饶，无须从外邦进口，对通商并不热心，对外商的管理也过于僵化。这可把外商急坏了。
在外商中，英商是其中最大的一支贸易队伍，贸易量已超过其他各国的总和。英国人处事十分敏感，常常不能接受中国官府对商船的控制。1792年，在东印度公司的资助下，英国政府派遣马戛尔尼使团出访中国。马戛尔尼对这次出访充满信心，在谈妥了金钱、爵位和权利三项条件之后，就踏上了来华之旅。第二年，马戛尔尼使团来到中国，受到了清政府的热情款待。但是，中国历来是一个贡国宗藩的国家，就在马戛尔尼朝见时，乾隆要求其下跪，而马戛尔尼却拒绝下跪，最后好说歹说，同意单膝下跪，这使乾隆帝极为不快。当马戛尔尼再次提出通商贸易的六项要求时，乾隆终于恍然大悟。他盛怒之下，便下达了谕旨，重新颁布了闭关条令，只留下广州一处口岸。这次访问的失败，使惨遭经济损失的英国人意识到，要用外交手段打开中国的大门已经没有多大的可能。于是，英商便用一种来自于印度殖民地的商品——鸦片，来换取自己失去的商业利益，扭转与中国贸易总是逆差的格局。鸦片很快在中国风行，一时间，中国上下人人面黄肌瘦，精神委靡不振。后来，清政府意识到了鸦片的危害，派林则徐来到广州，开展禁烟活动。
1801年，伍秉鉴继承了父亲伍国莹怡和行的业务。伍秉鉴是一个善于钻营、工于心计的人，他与英商的关系甚为密切。
从史料上看，伍家的怡和行向来做的是正经生意，茶叶贸易是伍家最主要的业务。但是，一些伍家担保的外国商人为了牟取暴利，往往夹带鸦片。一方是朝廷官府，一方是多年来贸易往来的生意伙伴，两边都得罪不起。因此，他必须尽自己的全力化解这次危机。
三天后，其子伍绍荣将外商上缴的1037箱鸦片交给林则徐，希望能就此结案。但是，林则徐认定这1037箱鸦片是十三行行商与英商串通一气欺骗官府。3月23日，林则徐派人锁拿伍绍荣等人到钦差大臣行辕审讯，伍家再次妥协，表示愿以家资报效。但是，林则徐下令将伍绍荣革去职衔，逮捕入狱。经过此番折腾，伍秉鉴颜面尽失，斯文扫地。
面对如此辽阔、利益如此巨大的中国，英国商人自然不甘屈服，中英贸易摩擦开始进入白热化阶段，战争一触即发。
1840年6月，英国远征军封锁珠江口，鸦片战争爆发。据一位美国商人的记录，伍秉鉴当时被吓得瘫倒在地。他争取和平解决鸦片问题的努力彻底失败了。伍秉鉴清楚地知道，英国发动这场战争的根源，正是不满十三行垄断贸易，一旦英国获胜，毫无疑问，十三行的独特地位将被迫丧失。
伍家，甚至其他行商，都为这场战争贡献了巨额的财富。战争甫一开始，伍秉鉴和十三行的行商们就积极募捐，出资修建堡垒、建造战船、制作大炮。纵然如此，清朝政府仍全线溃败。1841年5月，英军长驱直入，兵临广州城下时，奕山统领的清军部队无力亦无心抵抗，于是想出了一条计策——令行商前往调停。广州城外，奉命行事的伍绍荣与英军首领义律展开了讨价还价。最终，双方签订《广州和约》，按协议，清军退出广州城外30千米，并于一个星期内交出600万元赔款；英军则退至虎门炮台以外。这600万元巨款，有1/3由十三行商人出资，其中伍秉鉴所出最多，计110万元。
遗憾的是，这次赎城之举没有给行商们带来荣誉和感激，而是更多的非议。从战争一开始，跟洋人做生意打交道的行商，就被国人涂上了“汉奸”的阴影。不管他们捐献多少银两，也抹不去这个影子。
《南京条约》签订后，中国被迫“五口通商”。随着“五口通商”的实行，广州十三行所享有的特权也随之结束，行商们纷纷从广州去了上海。广州十三行的势力开始逐渐没落，广州作为国际贸易中心的地位逐渐被上海、香港取代。
1843年，伍秉鉴也因病在广州去世。但是，十三行作为中英矛盾冲突的焦点，作为人们指责的对象，却没有随着第一次鸦片战争的结束而消失。1856年，由“亚罗”号事件引发的第二次鸦片战争爆发，广州十三行成为了中外交锋的战场。12月15日深夜，中英两方的炮火将这个具有170多年历史的商馆化为了灰烬。从此，以伍秉鉴为首的十三行便彻底退出了历史的舞台。
伍家所积累的财富是惊人的。据1834年伍家自己的估计，他们的财产已有2600万银元，按照国际银价换算，这个数目相当于今天的50亿元人民币。而且，伍家在珠江岸边的豪宅，据说可与《红楼梦》中的大观园媲美。