叶澄衷，浙江镇海人。原名成忠，上学后私塾先生更名为澄衷。
叶澄衷出身于一个贫苦的农民家庭，在他6岁那年，父亲就不幸去世了。家中留有兄弟姐妹共五人，都还年幼，全靠母亲一人白天到田里耕种，晚上在油灯下辛勤地纺织，才勉强地维持着这个家庭。叶澄衷6岁时，母亲曾送他上过私塾，但不到半年，因为贫穷交不起学费，不得不中途辍学了。这一经历给叶澄衷幼小的心灵很大的刺激，是他日后办学济贫的一个主要原因。
叶澄衷11岁时，母亲为了使家中减轻负担，将他送到了邻近的一家油坊去帮佣。在这家油坊中，叶澄衷干一年的活只得钱一缗，外加柴薪一捆。但油坊的老板娘凶悍无比，动辄对叶澄衷欺凌辱骂，使他受尽了委屈。过了三年，叶澄衷实在忍无可忍了，一次，在老板娘又破口辱骂时，他愤然地回答道：“我以后宁可饿死于沟壑之中，也决不受你的侮辱了！”一气之下，他跑回了自己的家。
离开油坊之后，叶澄衷在家无所事事。一个经常往来于宁波、上海之间的乡邻倪先生，眼见叶家的日子越来越难过，便对叶的母亲说：“你家的澄衷年已渐长，还是让他跟我去上海滩混混吧，兴许能有碗好饭吃。”
叶澄衷的母亲早就听说上海是个“好地方”，便用田中的秋谷做抵，借了2000文钱，给叶澄衷做了出门的盘缠。1853年初春的一个中午，在浑黄的进潮中，一艘从宁波方向开来的航船缓缓地驶进了黄浦江。船舱中，一个浙东乡土装束的少年张大着眼睛呆呆地望着越来越清晰的、犹如连绵起伏的小山岗一般的外滩沿江洋房出神：这就是上海？多少人说过的可以落脚谋生、可以发大财的上海滩吗？这个少年就是后来成为沪上名商的叶澄衷。就这样，14岁的叶澄衷一文不名，只是带了希望跟随着倪先生踏进了上海滩。
上海自1843年对外开放为商埠以后，外国资本主义势力逐渐渗入。黄浦江中挤满了洋船，西方的商人、传教士，各式各样的冒险家、投机者纷至沓来。外国人在上海先后设置了英、法、美租界，在租界中他们开洋行、办银行，建造了大量的码头、仓栈，并开设了一些工厂。上海商市大开，繁华日甚，成了国内的通商大港。
叶澄衷到上海后，倪先生将他推荐到法租界的一家杂货铺中去当学徒。杂货铺老板每天叫他黎明出门，驾着一只小船载货到黄浦江上向来往的船只兜售叫卖，傍晚返回店中。
叶澄衷年纪虽小，但人很聪明，在黄浦江上没过多久，他已能和洋船上的外国水手打交道，并学会了一些洋泾浜英语。
但这家杂货铺的境况却并不好，店主是一个无能而不治事的人，使店业日益衰败。随着时间的推移，叶澄衷越来越清楚地觉察到这家铺子所处的困境。这样过了三年，在上海滩已经开了眼界的叶澄衷各方面都比以前成熟多了，他决定离开这个没有前途的铺子，以自己的力量独立地在上海混饭吃。
脱离杂货店后，17岁的叶澄衷自立门户，仍然驾着一叶扁舟往来于黄浦江中叫卖杂货，他的事业也从此开始了。
叶澄衷起早摸黑，不避风雨寒暑地干着。黄浦江中外轮上的水手经常听到他熟悉的声音，又见他一副敦厚勤勉的样子，都很愿意买他的东西。叶澄衷又非常留心并琢磨着生意兴隆之道，因而与人周旋的本领越来越强，诀窍越来越多。他赚的钱也相当可观了。
一天，叶澄衷用船摆渡一个外国人，那人匆匆上岸后，把自己的皮包落在了船上。叶澄衷打开一看，里面装有大量的外币、支票和各种证件。叶澄衷暗暗为他着急，便把船划到岸边，耐着性子等他回来。
外国人回来后，见到这一情景，分外感动，要拿出一部分钱作酬谢，叶澄衷说什么也不要。外国人自我介绍叫哈里，是英国一家洋行的经理，他留下自己的名片，叮嘱叶澄衷以后有什么事情需要帮忙，可以随时找他。
后来，叶澄衷想开一家五金店，便到英租界找哈里，说明自己想做洋行的代理，经营五金用品。哈里非常支持，并资助他一笔钱。
1862年，叶澄衷结束了黄浦江上的漂泊生涯，将“生意”移到了陆上。他筹措资金在虹口美租界开设了一家小店，主要经营食品、洋烛、洋线及五金等杂货。
虽然叶澄衷不再到黄浦江上去摇舢板兜售生意了，但他仍然经常跑到码头上去，登上外轮去承做“一揽子”的交易。凡是洋船上所需补充的食物，以及绳索、漆料、五金工具等零星添置的一应杂货，统统由他承包办理。外国船只初来上海，人生地不熟且语言又不通，乐得图个方便，把船上一应需要添置的物件，都交给叶澄衷去办理。同时，洋船上不用的新旧五金工具杂物，也都交给叶澄衷换取或收购。
叶澄衷的小店生意越做越多，越做越大，赚取的利润像滚雪球一样越滚越大。
1862年冬天，叶澄衷将小店迁往虹口的百老汇路口，扩大店面，商店取名为“顺记”，专门售卖洋货杂物、五金零件、废旧铜铁等。
叶澄衷仍如以前一样节衣缩食，刻苦耐劳，亲身经营店中的大小事务。每天，天刚蒙蒙亮，他就起床到楼下的店堂里，和伙计们一起，从后面库栈中搬出沉重的五金货物，陈列于店堂，并安排一天的进货出货任务。有时，店里伙计忙不过来，他会毫不犹豫地亲自拉起板车，将货物送到客户那里。安排好店里的一切后，他又马不停蹄地跑洋行，去茶楼，接洽生意，招揽业务，往往要忙到掌灯时分，才拖着精疲力竭的身子，回到顺记洋货行。