伴随着上海的崛起，从广东输往上海的，最惹眼的不再是货物，而是一群叫“买办”的活生生的人。
上海开埠前，广东人贩卖到上海的货物，以砂糖为大宗，红木、香料、染料（苏木）也不少。当时中国的食糖集散中心就在浙江嘉兴乍浦。
从广东到上海的商船被称为“估船”，一个月能往返一趟，上海商人则用“沙船”把本地棉花、布匹运往广东，其次是陶瓷、茶叶。据统计，鸦片战争前，上海每年从闽粤运进糖约50万担，染料和物品12万担，运往闽粤的棉花、茶、丝等物在20万~30万担。糖的价值，达数百万两银子，是一种大宗交易。沪粤间的棉糖对流，是这两个区域间的传统贸易内容，一直持续到清末。
在晚清四大买办中，除席正甫（1838~1904）是江苏人外，其他三人——唐廷枢（1932~1892）、徐润（1838~1911）、郑观应（1842~1921）都来自广东香山，他们成为这个时代最具亮点的买办。
为什么是香山？
在历史上很长一段时间内，香山与包围它的伶仃洋一样默默无闻。直到南宋，香山才有了县的名分，它的管辖范围就包括现在的中山市与澳门特别行政区的全部。
宋末文天祥一首《过零丁洋》为后人传诵，伶仃洋（即零丁洋）之名才为世人所知。到明朝时，香山依旧“其地最狭，其民最贫”。16世纪中期葡萄牙人租占澳门之后，香山成为中西文化交汇的前沿之地。
为什么中国早期的买办大多数来自香山？可以说，一部葡萄牙的殖民澳门史，就是香山多出买办的最大注解。香山人从什么时候开始充任中外贸易中的买办，目前还没有定论，但葡萄牙是最早试图与中国通商的殖民国家，却是不争的事实。
1473年，当明孝宗器重的大臣刘大夏和项忠建议废止下西洋、拆散舰队、焚毁郑和航海档案时，葡萄牙人的航海活动方兴未艾。
1415年，葡萄牙人在北非摩洛哥建立了世界上第一个殖民据点，揭开了近代殖民主义的序幕，接着西班牙、法国、英国、荷兰、丹麦、瑞典等国家也开始了全球性的殖民活动。
之后，葡萄牙出现了一位伟大的王子亨利。他一心一意地投身于航海事业，不仅远离了豪华舒适的宫廷，而且放弃家庭生活，终身未娶。他创立了航海学校和天文台，让葡萄牙的航海事业蓬勃发展。
1498年，葡萄牙航海家达·迦马成为从欧洲绕好望角到印度航海路线的开拓者，实现了欧洲人梦寐以求直接到达印度的愿望，开辟了欧洲至亚洲的新航线。
在1502~1524年，达·伽马又两次到达印度，后一次被葡萄牙政府任命为印度总督。达·伽马通航印度，促进了欧亚贸易的发展。在1869年苏伊士运河通航前，欧洲对印度洋沿岸各国和中国的贸易，主要通过这条航路进行。这条航路的通航也是葡萄牙和欧洲其他国家在亚洲从事殖民活动的主要条件。
1509年，葡萄牙舰队在印度洋上打败阿拉伯人，终结了阿拉伯人对印度洋、红海和波斯湾的控制。至此，葡萄牙人完全掌握了印度洋的海上霸权。1511年，葡萄牙人占领马六甲，垄断了印度洋和西太平洋的海上贸易。
1514年，葡萄牙人第一艘航船来到广东屯门岛，与当地商人贸易，获厚利而回。之后，葡萄牙人就以马六甲（1511年已为其占领）为基地，多次派船队到广东沿海活动。当他们得知中国的“贡舶贸易”都是薄来厚走后，也想挤进这一行列，但当时没有葡萄牙进贡的先例，所以广州官府就不允许他们这样做。他们就擅自在屯门岛盖起房子，并不时“剽劫行旅”和拐卖人口，激起了广东军民的愤怒。1521年葡萄牙人被逐出屯门，之后一再碰壁，葡萄牙人于是转而向北，销声匿迹于广东沿海。
1540~1548年，葡萄牙人与日本人，以及明朝以徽州人为主的海盗商人结伙，一同纠集在舟山群岛上的双屿岛；1549年在明朝东南沿海抗倭斗争中葡萄牙人又被逐出福建海界；在1550~1553年，葡萄牙人完成了上川—浪白澳—澳门的贸易基地的过渡。
澳门当时叫壕镜澳，归香山县管辖，是南海诸国贡舶贸易船的临时停泊点之一。像这样的临时停泊点，广东沿海有将近10个，来朝贡的番船入珠江口前，必须先在各澳接受澳官检查。
1552年，第一个耶稣会传教士到达澳门，未能进入中国内地便病死。1553年，葡萄牙买通广东海道副史汪柏，“托言舟触风涛缝裂，水湿贡物，愿暂借地晾晒”，从而得以入居澳门。葡萄牙人初时也是搭建暂住式草棚，后澳官因受贿赂，不仅不命其撤去，而且默允他们运砖瓦木石，修建永久性的住房。如此房屋越建越多，在四五年时间内，澳门便初具城市规模。
葡萄牙商人因控制了日本、马尼拉和欧洲的贸易航线而趾高气扬，无视广东政府的法令，从事走私活动，许多葡萄牙的船只到处在沿海停泊，全不理会中国官吏一再提出的反对抗议，中国对这些船只无法征收船钞和关税，但偶有船只被拿获，这些葡萄牙人便嚣张地反对地方长官，诡辩说他无权惩罚私商。这种争吵的结果是中国封闭了广州（1631年），不许葡萄牙船只入口，崇祯十三年（1640年），明政府正式宣布禁止葡萄牙人进入广州贸易。
尽管浙江宁波，福建漳州、厦门等闽浙地区的商人，曾在明末的一个世纪内与葡萄牙、西班牙、荷兰等国家商人，或以合法身份或以走私形式打过交道，但这种交道因明政府与海盗持续不断的战争而断断续续。虽然买办也在这期间出现过，但并没有形成足以传承和延续的空间和环境。
1577~1842年，葡萄牙除1685~1717年和1724~1760年外，大部分时间都以其租借澳门的独特优势，以澳门作为广东外贸的中转港身份，独揽着中国对外的贸易往来。1842年，中英《南京条约》签订，香港被英国占领，中国开放广州、福州、厦门、宁波、上海五口通商。从此以后，澳门的外贸完全衰落。1887年，葡萄牙通过中葡《北京条约》攫取了对澳门的“永驻管理”权，直到1999年12月20日澳门回归。
葡萄牙依托澳门的200多年的合法而较为稳定的垄断贸易，使得广州府理所应当地成为中国最早出现买办群体的地区。广帮买办又以香山人居多，这与葡萄牙先于西班牙、荷兰、英国等国与中国贸易有关。当时澳门归香山管辖，香山与澳门这种先天的联系，决定了香山是中国最先接受欧风美雨洗礼的地方。
容闳，1828年11月出生于香山县南屏乡，幼入澳门西塾读书，14岁入读澳门马礼逊学校，后随校迁香港就读。1847年该校校长布朗带他就读于美国马萨诸塞州孟松学校。1850年，容闳考入耶鲁大学，1854年毕业，获文学学士学位，成为该校有史以来第一位毕业于美国高等学府的中国留学生。
容闳以留学事业先驱的角色而在中国历史上占有一席之地。1870年他与曾国藩、李鸿章第二次联名上奏，选送幼童赴美留学。这一计划在第二年获得清政府批准。1872~1875年，清政府先后送了4批共120名学童赴美留学。其中，40名为香山县幼童。
在当时的社会观念下，官员不愿把自家子弟送到国外去，民间更有关于西洋的种种不祥传说，以至于第一年容闳在上海竟凑不足第一批30个名额的学生，他只好回老家香山去动员乡亲，最终成行。这第一批30名幼童中包括后来任北洋大学校长的蔡绍基、沪宁铁路和沪杭铁路总办钟文耀、清华学堂的首任校长唐国安、民初外交部长梁如浩及其亲家──中国第一任共和制内阁总理唐绍仪，而后三人都来自香山唐家村。
中国第一位共和制总统孙中山也是香山翠亨村人。他在筹办中兴会时，曾得到同乡郑观应的关照和黄咏商的拥护。作为香港第二位华人议员黄胜的儿子，黄咏商还是香港兴中会的临时负责人。舒式在《风起伶仃洋，中国最早的“海归”》一文中这样写道：
西风吹到了伶仃洋，香山人睁开眼睛，隐约看到了外面的世界。宋玉的《风赋》中有一名句：“风起于青萍之末。”留学风改变了中国，而香山与伶仃洋正是那风起之处。
作为晚清中国发展最快、规模最大的通商口岸——上海，便成为香山人谋求发展的重点城市。上海社会科学院熊月之估计说，在1853年以前，上海有广东人8万，其中广肇帮最多，潮州帮其次，雷钦惠梅帮最少。在广肇帮中，香山人最多，人数有两万多，从而奠定了香山买办势力在上海的影响。
买办之乡
“买办”一词是葡萄牙人“Comprador”（康白度）一词的意译，原意是采买人员。清初，买办专指为广东十三行外商服务的中国公行的采购人或管事，后来逐步发展为特指被中国的外商企业所雇用的居间人或代理人。
买办，从本质上讲是经纪人，是中国经纪人和经纪业发展史上的一个特殊的阶层。按照当时广州府的规定，一艘外国商船到广州来，必须先在澳门靠岸，船主在那里从左堂衙门聘请引水、通事和买办，才能开往广州。
通事为外国商人向粤海关办理纳税和进口手续，买办则供应船上人员的伙食、代雇码头搬运工人、代购日常必需物品。买办必须领取政府颁发的执照，外商才能聘用他。
1832年瑞典人龙思泰在其所著的《早期澳门史》中记述：“一个人要在广州筹办一家商行，必须先找一名买办……他对商行的内务有总的监督权，按雇主的愿望介绍其他仆人，购买食物及日用品等。”
此时的买办事实上是洋行的总管、账房和银库保管员、大班的机要秘书，他们被禁止从事进出口贸易，活动范围也仅限于广州一地，但鸦片战争让这一切成为过去。
五口通商后，英国人可在上海、宁波等各个口岸交易，特别是1844年《中美五口贸易章程》后，外国商人雇用买办，中国地方官不得干预，于是，一批广东买办伴随上海开埠通商，跟随洋商来到上海。他们起到了中外贸易轮轴的作用。