1813年，伍秉鉴登上首席行商的位置。此后数十年，他一直居于行商的领导地位。1817年，当广州的港脚贸易提供了3/4的英国进口货时，中美贸易总额也首次超过了英国东印度公司对华贸易的总额。与美国商人的合作成为解读伍秉鉴的重要事件。当时很多行商明知道商船装运的是鸦片，却仍然给予承保具结，伍秉鉴也不例外。1818年他因承保运载鸦片的美国商船“华巴士”号，被罚160000两白银。到1820年，美国的私商贸易已经超过英国东印度公司贸易，鸦片则超越合法货物成为进口的主要货项。
伍家毫无疑问是一个颇有争议的家族，一方面有着19世纪世界首富之一的荣耀与光鲜，另一方面是串通外商、勾结官府、贩卖鸦片、私运白银的龌龊与灰暗。伍秉鉴财富人生灰色的一面，与王直、李旦等走私海商没有什么两样。
与以往山西、徽州商人将剩余资本用来置地盖房不同，伍秉鉴已经具备国际投资眼光和现代商人的特质，他投资于美国的铁路、银行、保险等多个行业，俨然一位跨国投资财阀。伍秉鉴也与旗昌洋行签订合同，在美国做实业投资，条件是美方要把每年的利息支付给他的后裔。他通过旗昌洋行的福布斯家族，先后投资了美国的密歇根中央铁路、柏林敦铁路和密苏里河铁路。约翰·默里·福布斯进一步将伍家的基金使用于建立美国股票投资公司，以及包括如阿尔巴尼和波士顿矿业公司的投资。
1840年6月28日伍秉鉴给约翰·默里·福布斯去信说：“我在美国和欧洲拥有大量基金，这些基金你必须尽可能谨慎管理，保证其安全，并让它产生利润；在英国商业确定以后，把我的所有基金以孟加拉的硬币或账单的形式，送回我的朋友——旗昌洋行那里。”
有资料表明，伍家在美国投资的利息，每年达20余万两白银。当旗昌洋行于1891年宣布破产，约翰·默里·福布斯成为伍氏家族的受托人时，记录显示，旗昌洋行拥有属于伍氏家族100万多美元的受托基金。伍秉鉴还通过巴林洋行投资美国铁路和其他项目，让其子伍崇曜在其死后可以收到定期的效益。1858~1879年，伍氏家族似乎收到了125万多美元的红利。
美国学者穆素洁博士根据伍秉鉴写给他的美国经理人的50多封信件，发现了伍秉鉴与世界沟通的渠道。这些信件现在收藏在哈佛大学贝克尔图书馆。叶显恩在《世界商业扩张时代的广州贸易（1750~1840）》一文中对此有详尽的介绍。
19世纪初，伍秉鉴贩茶到欧洲，租用的是美国货船。1833年，伍秉鉴代旗昌洋行的合伙人约翰·P·库欣贩茶到汉堡，租用的是普鲁士货船。鸦片战争期间的1841年11月21日，他给已经从广州回到波士顿的库欣写信说：“4月和5月，我把价值约100万美元的茶叶用船运到纽约和伦敦，我认为有希望取得好的结果。”
两天后他在写给罗伯特·福布斯的信中，则说他正将三四百吨的茶叶装船运往荷兰。信中还透露以前贩运的商货，已经取得约50%的利润等。
在印度方面，伍秉鉴曾通过在广州营商的印度帕西商人默万吉·马尼克吉·塔巴克等，在印度建立其商业网络，还与印度孟买商人莫霍马达利·阿利·罗盖，以及以澳门为基地的达达布霍伊·拉斯托姆吉等，也有商务往来。尤其是詹姆塞特吉·吉吉博伊，作为伍氏在孟买的代理商，他经营有方，到19世纪30年代初已在印度建立了独立的贸易网络。
1842年4月24日的一份账单显示，受伍秉鉴之托，詹姆塞特吉购买珍珠后送到旗昌洋行，所需的款项他提出可用孟加拉政府的7000卢比支付。如果不够，再请旗昌洋行代垫。他还受托在印度和英国经销中国的丝和肉桂，并要求把在伦敦经销丝货所得的款项归入加尔各答的英国东印度公司账目中。
如果说泉州走私商人李旦、郑芝龙建立起了辐射东亚、东南亚的贸易网络，那么伍秉鉴则建立起了中国与太平洋的美国、印度洋的印度、大西洋的欧洲之间庞大的世界性贸易网络，只不过，他只是其中的一分子而不是支配者。
俗话说，和气生财，伍秉鉴就是这样一位人物。他性格谦恭顺从，甚至有人认为他胆小如鼠、懦弱无能。林则徐下令禁烟时，曾要求洋商无条件上缴所有在广州的鸦片，如果不顺从，就要将伍秉鉴等两名行商就地正法，有商人说伍秉鉴当时“吓得瘫倒在地”。
这个瘦瘦小小甚至丑陋的人，既聪明，又诚实。他在给一位美国商人写信时说：“我们被迫出资修建堡垒、建造战船、制造大炮，所承受的巨大负担对我这把可怜的老骨头来说实在是有些沉重。”
鸦片战争使伍秉鉴损失大约200万美元。其中，第一次鸦片战争后，《南京条约》涉及商欠的外商款在300万银元，他一人承担了100万银元。1831年，清政府对商欠实施国家干预，对不奏报粤海关的借贷行为，不予法律保护，而且不允许这种借贷关系保持3个月以上，否则承担连带责任。
李远江在《世界首富伍秉鉴的末路人生》一文中这样描述死前的伍秉鉴：
1842年12月23日，他写信给在马萨诸塞州的美国友人J·P·Cushing说，若不是年纪太大，经不起漂洋过海的折腾，他实在十分想移居美国，通篇怆然难禁之情……
1843年9月，风烛残年的一代世界首富伍秉鉴，在内忧外患、谤颂不一中，于庞大宏伟的伍氏花园里，溘然长逝，终年74岁。
也有说法认为，伍家的怡和洋行做的是正经生意，茶叶贸易是伍家最主要的业务，但作为具保的行商，伍家对私带鸦片现象视而不见却是事实。这让人们对伍家颇有不满，从当时人们给伍家人所起的几个诨号中，可以看出一二。
因机警狡诈、冒险成性，人们送怡和洋行的查顿“铁头老鼠”之称。伍秉鉴的诨号是“伍穿鳃”，以其有一齿穿露于颊外为意。十三行同顺行商吴健彰，则被取号“卖鸡爽”（吴商名为爽官），因其曾市鸡为业。吴健彰发家于鸦片贩卖，与伍家后人一样，他在1843年11月上海开埠后，与诸多洋行一起北上，成为十三行商人中屈指可数的将生意和事业从广州延续到上海的人。吴曾在英美等国的支持下，被清政府任命为上海道台，又兼江海关监督，后镇压小刀会起义，并参与了对太平天国起义的镇压。
伍秉鉴死后，岭南名士谭莹曾撰碑文说，“庭榜玉诏，帝称忠义之家；臣本布衣，身系兴亡之局”，内外形象的评判形成鲜明反差。
伍家后代中有一人名叫伍廷芳，他在新加坡度过了一段童年时光，后到伦敦学法律，是伦敦许可在香港法庭开业出庭的第一个中国人。在1882年李鸿章请他到天津时，伍廷芳已经是香港大名鼎鼎的律师。
1856年，第二次鸦片战争期间的一个深夜，具有170年历史的广州十三行商馆被民众一把火烧成了灰烬。这个浓缩了近代中国海上外贸商人最后辉煌的群体，这个毁誉参半难以在鸦片贸易中独善其身的群体，彻底退出了历史舞台。
南太平洋大撤退
14~17世纪是中国海商由盛而衰的转折期。之前的7~14世纪，中国与阿拉伯地区的贸易构成了国际贸易体系的主干。
从9世纪中叶开始，中国的经济、文化中心逐渐向东南转移。尽管一直面临北方好战民族的侵扰，宋朝的航海史仍达到了一个高峰。宋政府鼓励富豪打造海船，购置货物到海外经商，为了引导商船与官船，还在海岸线上建了价值昂贵的灯塔导航系统。宋高宗更是亲自寻求商人协助组成了一支舰队，这支舰队足以向波斯与阿拉伯商人在印度洋上长期掌握的商业霸权挑战。自此，中国进入海外贸易的黄金时代。
南宋时期，中国拥有了印度洋上最好的船舶，直接将操纵在伊斯兰教徒阿拉伯人手中的海上贸易掌控权夺了过来，但这种局面在1390年埃及马木路克王朝建立后被打破。马木路克王朝扼红海之口，执行垄断香料贸易的政策，在西亚阻断了欧亚商人的直接往来，埃及的开罗成为伊斯兰世界的中心，中国商人被迫撤出西印度洋。
以郑和下西洋为标志，明朝时的中国建立和完善了朝贡贸易圈，并试图在南太平洋建立一个以中国为轴心的体系。除永乐帝时介入了安南内政而出现了相持20年的战争，这个以政治威慑力和经济辐射力为前提的朝贡贸易体系，维系着这一区域的政治与经济平衡。
日本是游离于这个体系外的一个另类。1592年，日本大举入侵朝鲜，并制订了进攻中国的军事计划，甚至任命了占领中国的各级官员。在这种情况下，明政府作出了援朝的决定，举全国之力与日军在朝鲜苦战7年，败多胜少，最后日军因为统帅丰臣秀吉病死而撤退。
此战使得中国（与日本相比）曾经拥有的绝对优势下降，不过，试图谋求东亚霸权的日本对朝贡体系造成的冲撞，仍被明朝朝贡贸易体系自身所存在的修复系统缝合。
从1511年葡萄牙人侵入马六甲开始，中国朝贡体系就面临着一次次的被撬动。1514年，第一艘葡萄牙船绕过非洲好望角，沿着郑和下西洋和中国南方与印度洋帆船贸易的航线，驶抵广东。到达不久，他们就强占海岛，盗窃行旅，掠卖人口。
1553年，葡萄牙租占了澳门。随后，西班牙（1575年）、荷兰（1601年）、英国（1637年）、法国（1698年）、美国（1784年）的船只，先后闯入中国东南沿海。最初的闯入者利用了中国走私贸易既有的网络，但当国家力量与海上武装走私力量合一，也就是官方利用海盗钳制海盗，再将海盗招安而取得预期效果时，对付那些入侵的力量对于国家来讲还是小菜一碟。
荷兰、西班牙对台湾岛有过短暂的占领，但郑芝龙家族的存在，让任何对中国贸易的觊觎都只能留做念想。用张丽、骆昭东在《从全球经济发展看明清商帮兴衰》中的话说，明政府和中国海商郑芝龙的一次偶然合作，成就了中国海商对中国南海贸易长达半个多世纪的垄断。
无论是海禁时的海盗集团，还是对外贸易开放时的海外移民，这种由分居在东南亚及东亚的侨民群体组成的民间贸易网络，一度以相互补充的形式，与朝贡贸易体系一道有效抵御了外来商贸势力对朝贡体系的肢解，但这种抵御又慢慢被“默视的屠杀”所侵蚀。
1603年，西班牙马尼拉当局屠杀了2万多中国侨民，他们怕明政府兴师问罪，就向漳州地方官员探听口风，得到的答复是，“勿容畏惧”，“多系不良之徒，亦勿容爱怜”。明政府对这一事件的不恰当处理，助长了西班牙当局多达4次的用屠杀来解决与中国侨民对商业贸易网络占有的潜在争端。
一个极坏的后果也由此造成，中国移民构建的由马尼拉前往澳门等处的贸易网络被打破，这等于封锁了中国移民与中国的乡土乃至贸易联络。1639年的最后一次屠杀，直接造成中国南方的对外贸易据点由菲律宾的马尼拉撤退到了本土的澳门和广州。
继葡西商人之后，荷兰、英国等国商人亦跻身对华直接贸易以图分一杯羹，里斯本—好望角—果阿—马六甲—澳门贸易航线的西端从里斯本扩散到了多处港口，但东端一直集中在澳门。直到鸦片战争爆发，欧洲各国对华贸易商始终没有找到一处足以取代澳门的中转港口。
早在16世纪末，英国伊丽莎白一世就曾两度遣使致书万历皇帝，备言两国通商之利，但没能送达。1635年，英国考亨商会组织了一支船队强行驶入珠江，但仍未能与明政府建立起正式的贸易关系，因为明政府只允许藩属国凭勘合入中国朝贡。
1717年，清政府发现，每年出海船只千余艘，“回来不过十之五六，其余悉卖在海外”，并认为“海外如吕宋、葛喇吧等口岸多聚汉人，此即海贼之薮”，于是禁止中国商人的南洋贸易。这等于清朝退出对南洋海上贸易的角逐，将商利拱手相让，于是东欧国家逐渐完成了对中国外围朝贡圈的又一轮侵蚀，天朝大国的朝贡体系正向纵深撕裂。
17世纪初，荷兰商人以海盗的角色闯入中国南海。继西班牙人之后，1740年荷兰人对巴达维亚的中国侨民举起了屠刀，是为“红溪事件”。这次事件造成中国商人从巴达维亚的回撤。每一次回撤，都意味着殖民商人把殖民据点移向中国本土，中国商人的商业版图日渐萎缩。