1858年，也就是英法联军强迫清政府签订屈辱的《天津条约》的那一年，郑观应远离家乡来到了上海。上海开商埠虽然只有十几年，但它是通商五口（其它四个城市是广州、福州、厦门、宁波）中最为繁华的一个港口，这里作为外国资本主义经济侵略的据点——洋行，已经有很多了。在洋行中充当买办和工役的人有不少是香山人，其中就有郑观应的亲友。他正是依靠他们的帮助提携才站稳脚跟并继续发展的。他来上海后，先住在叔父郑廷江处，郑廷江是英商上海新德洋行买办。他帮助叔父做事获取微薄的收入，叔父提供他住宿并热心地教他英语。他正是在新德洋行期间打下了一定的英文基础，直至老年还念念不忘叔父对他的帮助。
到上海的第二年，他通过姻亲和至交的关系，被介绍到英商上海宝顺洋行工作。宝顺是当时营业额较高的一流大洋行，介绍他来的亲戚朋友在这里是管总帐的一等买办。因有这层关系，郑观应一进宝顺就取得了一定的地位。1859年冬，他跟随宝顺的洋人坐帆船赴天津考察商务，表现良好，由此得到信任和重用。1860年返回上海后即开始在宝顺管丝楼，兼管轮船榄载等事宜。从此开始厂他的买办生涯，时年18岁。
郑观应在宝顺洋行并不是很得意，始终只是管理丝缕和揽载等事务。1865年后几年间，由于洋行逐渐增多，竞争激烈，以及美国南北战争的影响等原因，宝顺生意清淡，股东群起折股，营业到处收束，1868年宝顺停业，他也就失去了买办的位置。
在宝顺10年中，他除做买办分内的事务外，也开始兼做一些生意。出宝顺后，即当上了和生祥茶栈的通事，不久与卓子和一起承办了这个茶栈。茶栈的业务主要是代两湖、江西和徽州的茶客沽茶。后来因各地茶商欠款太多，影响周转，恐欠款愈来愈多有倒闭的危险，郑观应于1871年主动将其停业。
在经营茶栈的同时，他还与别人共同经营公正轮船公司和荣泰驳船公司。公正轮船公司名为华洋合营，但实际权力操于外商之手，郑观应虽为“董事”，却没有什么实权，但从中获得了经营航务的经验，同时反对外商侵犯华商权益的心情也强烈起来了，同时，个人资本也有了相当的积累。
1872年太古洋行创办轮船公司，原宝顺洋行气拉渡号轮船船主麦奎因当上了该公司的总船主。麦奎因与郑观应在宝顺洋行共事多年，早就对郑很器重，于是请他到太古总理一切。1874年2月间，郑观应与太古轮船公司签订了3年的雇佣合同，受聘为太古的总理兼管帐房、栈房等事，相当于总买办的地位。他对办好轮船公司总结有10条经验，主要是用人得当、加速船运周期、降低消耗、多揽客货等。为了加速船运周期，应该运走的货物必须预先准备好卸货上货的扛力和一切必要的设备，以便船到不耽搁在码头上，就很快开航。这点和今天的“提高效率”完全一致。为了降低消耗和运输费用，必须购置烧煤少、行驶速度快、装货多的新式轮船。至于多揽客货则是决定性的一环。他的做法是：选择商货多而且可靠的老顾主，或贴补房租，或专轮运送，用一些优惠政策招揽顾客。由于一系列的措施配套且行之有效，保证客货两旺，船到即可及时装卸货，从不放空船，保证了船运周期的缩短，运输成本大大降低，极大地加强了在船运行业的竞争能力。由于经营得法，太古盈利较多，发展较快。1877年合同期满时，太古又聘请他，继订了5年合同。
郑观应还在长江各口岸乃至沿海一些口岸开设一些为太古服务的揽载行，主要有：长江各口岸的太古昌、太古辉揽载行、天津源泰揽载行，福州宝泰揽载行。此外，他还开设了川汉沪仁泰昌杂货号和恒吉钱庄等商业、金融机构。
郑观应一生工作和学习都很勤奋。这在宝顺期间就有明显表现。工作之余，和同乡一起到英国传教士傅兰雅办的英华书馆读夜班课，专攻英文2年。通过学习，不仅英语有了较大提高，而且比较广泛地了解了西方资本主义的政治经济等社会情况，认识到学习外国语的重要性。只有通晓西文，才能学习西方资本主义国家的社会政治学说和先进的科学技术知识。通晓西文的目的，是要用它作为改革社会以达到富强的工具。