清道光二十八年（1848年），朱葆三生于浙江乍浦。其父朱祥麟世籍浙江黄岩，时任乍浦都司，定海营游击。
清咸丰元年（1851年），朱祥麟举家迁居定居定海县城。朱葆三兄弟两人，弟名叫捷三。1859年，朱祥麟将家眷移居定海县东乡北蝉村后，11岁的朱葆三每天早上从北蝉村步行至县城父亲处，回家时在集市买回油盐酱醋等食用之物侍奉母亲，徒步往返数十里。儿童时代的生活磨炼，铸就了朱葆三吃苦耐劳、刚毅不屈的性格。
殊料朱葆三13岁那年，突遇一个晴天霹雳：父亲患上重病，旷日持久的求医用药使家境日趋困苦。数年，母亲方氏无奈之下忍痛托人，把尚未成年的朱葆三带往上海学艺谋生。
19世纪60年代的上海已成为远东最大的资本主义现代化商业大都会，各国身无分文的冒险家，在上海大发横财，一夜之间成为富翁。与此同时，上海的繁荣也对中国国内产生了巨大影响，江苏、浙江、山西、河北、广东、福建、四川等地的移民纷纷来到上海经商开铺，并形成帮派体系。山西帮经营票号；扬州帮经营饭店、理发业等；广东帮经营进出口行；绍兴帮经营酒店、染坊、柴炭店等。徽帮在上海经营面宽而且颇有特色。歙县人经营京广杂货；黟县人经营草货、皮革、土布、绸缎；休宁人经营典当；祁门人经营茶业。
朱葆三的家乡人则属宁波帮，他们从事的职业也很杂，主要有信局、银楼、糖行和海味北货等。
经人介绍，朱葆三在一家“协记”吃食五金店当学徒，这是一家经营五金用品的小商店，在上海像这样不起眼的小店到处都是。
一般来说，当学徒初到时实际上就是苦力，师傅常把最苦的差事交给学徒，几年下来也学不到东西，师傅怕徒弟抢自己的饭碗，往往教一半留一半。朱葆三还算幸运，碰到的老板是位老实的生意人，对他还不算苛刻。
初到上海时，朱葆三发现很多中国商人都会说英语，而那些会说英语的人直接与洋人谈生意，个个都很风光。他虽一句英语也听不懂，但他注意到这些说英语的都带有各自的方言腔，五花八门，很有趣。这就是所谓的洋泾浜英语。他暗下决心，一定要把英语这东西学会。
上海开埠之初，有许多“露天通事”，指的是略通外语、自告奋勇地为外国人充当业余翻译的华人，以及华商、跑街，在洋泾浜附近与外商接洽生意，买卖货物。这些中国人使用一种半生不熟的英语与外商交谈，加上各种手势比画，表达意思。天长日久，这种夹生的英语居然有了约定俗成的表达格式。洋泾浜英语的一个特点，就是用汉语中的近音字来为英语单词标音，使英语读音汉语化。
朱葆三对这种洋泾浜英语很感兴趣，但是学外语要请老师，请老师就得付学费，朱葆三每个月的月规钱只有5角，这哪能够付学费呢？一个偶然的机会，他听到隔壁店铺传来读英语的声音，连忙放下手中的活儿，跑过去一看，原来是那家的学徒小刘正拿着读本在读呢，仔细一打听才知道，小刘每天夜里都到补习学校里去学英语，朱葆三也想去上课，可当他听到每月要付3元钱的学费时，他傻了，这相当于他半年的月规钱啊！
怎么办？一天，朱葆三想到了一个两全其美的办法，就跑去找小刘。他对小刘说：“你每天将学校教的东西转教给我，我把每月5角钱的月规钱给你当酬劳。”
小刘和朱葆三都是小学徒，命运相同，又是邻居，见朱葆三真心诚意地向他求教，而且还付给他报酬，便一口答应了。从此，小刘晚上放学后，总是用一个小时的时间教朱葆三英语。朱葆三珍惜这来之不易的学习机会，如饥似渴地学习着，打下了扎实的英语基础。
店老板非常欣赏朱葆三刻苦好学的精神，又见他聪明伶俐，进店后不久就精通了业务，有心要提拔他，破例在学徒期间，就让他当跑街、进货员、会计员。
1864年，店里的总账房去世了，17岁的朱葆三立即被提升为总账房和营业主任。4年之后，经理又去世了，朱葆三又荣升为经理，这一年，他才21岁。
朱葆三很感激老板的器重，便把心思都用在了生意上。几年实践使朱葆三积累和掌握了许多商业经验和知识。同时，由于他的才干和勤勉，店里的生意也做得很红火，商店的赢利不断增加。老板更是笑得合不拢嘴，庆幸自己有这样一位生财有道的人才。可惜好景不长，老板不幸去世，协记吃食五金店也随之不存在了。
朱葆三便用自己多年积攒下来的钱，开了一个自己的小五金店，取名叫“慎裕五金号”，地址在上海南市新开河。