给继父张兽医当下手，虽然能学些本事，可是得不着钱花。张作霖需要的是现钱，只要手里有了钱就可以去赌局摸牌九，掷骰子了。于是，他便央告母亲要去当货郎。王氏心软，跟张兽医一说，张兽医便给准备了一些本钱，给张作霖置办了一副货郎挑子和一些小百货。
张作霖当上了走村串镇的小货郎，挑起货郎担，前后各有一个货箱，手里摇着货郎鼓，卖些针、线、鞋面、胭脂粉什么的。他最爱去卖货的地方是赵家庙，这倒不是因为那里好卖货，而是他看中了赵占元的二丫头。赵占元的字叫恒昌，是个小财主。每逢赵家买他的东西，他都少算钱。赵二丫头除了眼睛稍有点斜视以外，那细皮嫩肉，那眉毛鼻子那嘴儿，处处惹人喜欢，在十里八村也算是个美女。巧的是她与张作霖同庚。每当上了新货之后，张作霖去的第一站准是赵家庙。要是张作霖没准时来赵家庙，赵二丫头也抓心挠肝的，一会儿坐下一会儿起来，什么活也干不下去。时间长了，他们相处得很熟，偷偷地相爱着。可是张作霖因为穷，不敢托人提亲。
赵家庙设有赌局，为了能在赵家庙多待些时辰，有时张作霖干脆放下货郎担子，到赌局里赌一把。有一天，在赵家庙他输了钱耍起了光棍，拔腿就走。赌徒们一拥而上，抓住张作霖把他绑在村道旁的一棵大树上，扒光了上衣。大家抡开皮鞭就揍，一边打，一边骂：“姓张的，让你充光棍！是棍儿也给你撅折了！让你再赖，打！”
张作霖被打得皮开肉绽，鲜血淋漓，可他眉头也不皱一下，还是不住嘴地和赌徒们对骂：“王八羔子，你再给爷爷加点劲儿，张爷爷要是皱一下眉头，就不是人养的！你们他妈的管我要钱，瞎子掉井——没门。妈拉个巴子的，你们耍钱闹鬼，张爷爷不吃这一套……”
围观的人越来越多，有的卖呆儿(东北土语，意为“看热闹”)，有的劝解。站在人群外头的赵占元，看张作霖毫不示弱的样子，暗暗称奇，觉得这小子真刚强，又长得北人南相，日后定有出息，就拨开人群，走进去问：“别打了！张货郎输了多少钱？多少？才一吊二啊！别为这么点小钱把人给打死了。这么着吧，你们放人，这钱我出。”张作霖被松了绑，他趴在地上给赵占元磕了个头，也没说声谢，站起来瞪了众赌徒一眼，挑起货郎担子，走了。赵占元回家以后和老伴商量，想把二丫头许给他。可是，他老伴和二丫头他舅都坚决反对，说：“老张家寡妇失业的，领几个孩子过日子，穷得连锅都要卖掉了。”亲事虽然没成，可这话也慢慢传到张作霖的耳朵里了。他决心干出个样子来，非把老赵家的二丫头娶到手不可。为这个，他把货郎挑子撇了，又寻找新的出路。
清末时，东北马市大多是有市无场，经营场地就设在招待来往车马的客店院内。卖牲口的要是在一家院内卖不出去，也可串到别的店去卖。车马店又叫大车店，大门外挑个罗圈形的红布幌，除供给老客、贩子、经纪人交易和食宿外，也接待其他过往行人住宿及存车。为了招徕顾客，店主经常请一些唱蹦蹦戏(后发展成二人转)、说大鼓书的民间艺人到店里表演，由店主供其吃住，钱则由听众看赏。因为北方冬季严寒，野地无处藏身，有的店便成为土匪冬季的藏身之所。店内除掌柜的，多数还有掌盘的、账房、报税的、杂役人等。
张作霖不做货郎以后，曾到附近河图堡村一个大车店里当杂役，负责打扫库院，出售食品，帮着套车卸马，为过往行商服务。在这个大车店里，张作霖接触了南来北往的各色人物，从客人们的高谈阔论中，知道了村子以外还有另外一个花花世界。张作霖从此有了出去闯荡的念头。
有一天，北风呼啸，天上飘着棉絮般的雪花，到半夜时分地面上已积起半尺厚的深雪。大车店里的蹦蹦戏早停了，客人们也都入睡了，店主东家出去找女人过夜，账房先生也回家了。后半夜，突然响起了敲门声，张作霖从炕上一骨碌翻身爬起，穿上抿裆棉裤，蹬上棉鞋，披上棉袄，扣上狗皮帽子，打开房门就直奔大门。打开大门，走进一个魁梧的汉子，浓眉大眼，头戴狗皮护耳帽，上身穿羊羔皮袄，下身穿着皮套裤，脚上穿着高腰棉皮靴，腰里扎着一条绿缎子的搭包，手里牵着一匹乌黑油亮的高头大马，煞是威风。张作霖不敢怠慢，麻溜地接过大黑马，嘴里喊着“请”，把客人让进屋里。他把大黑马拴到槽上，给拌上草料，然后跑到屋里给客人端上洗脸水、洗脚水，又端来一盘果子，沏上一壶茶，伺候客人食用。店里已经客满，而客人又要单间，这很让张作霖作难，只好请这位客人住自己的铺位。而张作霖睡的是长筒子大炕，与一般散客同住，那客人看了一眼死活不干，又说不怕花钱。
这时，店里的一位大伙计也起来了，见这位客人这么矫情，心里头老大不满意，就说：“那就请客官到别的店去看看有没有地方。”这明摆着是撵人。那客人一瞪眼，声不高却很横，扔出一句话：“怎么？你敢轰爷！”张作霖眼尖，早看见客人屁股后头鼓着个包，心想备不住是匣子枪，一拉大伙计衣襟，笑着对客人说：“真不好意思，让您受委屈了。现在只有掌柜的和账房先生住的屋，因为是金钱重地，外人一概不准入内。小的看爷是个人物，就请您住进去，将就一宿，怎样？”大伙计赶忙拦住，说：“你个老疙瘩胆真大，掌柜的回来看见你给乱当家，还不让你卷铺盖卷儿。”张作霖一拍胸脯，学着说大鼓的腔儿，说：“此处不留爷，自有留爷处。掌柜的怪下来，他妈的与你无干，我一个人顶着，大不了走人就是！”客人钦佩地看了看张作霖，大摇大摆地住进了账房，也不脱衣服倒头便睡。
事后得知这位客人是辽西顶顶有名的大匪首冯麟阁，又叫冯德麟，连官府都惧他三分。他这次是化装成普通客人住进这家大车店。第二天掌柜的回到店里，对张作霖的安排相当满意，又加倍地向冯麟阁献殷勤。冯麟阁格外看中机灵、懂事的张作霖，管他叫老兄弟。此后，冯麟阁常到店里来住，向张作霖吹嘘他的土匪生活。冯麟阁的话无非是说干他们这行，能吃香的喝辣的，勾得张作霖心驰神往。后来，冯麟阁还主动和张作霖磕头拜了把子，成了换谱弟兄。作为礼物，冯麟阁还偷偷送给张作霖一杆土枪。这让张作霖心里乐开了花，盘算着用这杆土枪干一件惊天动地的大事。
后来查明，杀死张作霖父亲张有财的是王二，可是王二已畏罪潜逃进了东山密林。王二听说王氏带着儿女去了黑山县，就偷着回了海城老家。仗着他家有钱，上下打点，官府并没有来捕拿。为了给自己壮胆，他让一家佃户老夫妻住在自家门房里，不要房钱，但要给他守好门户，一旦有风吹草动，就摇铃报信，王二好翻墙逃跑。
杀父之仇不共戴天，张作霖和他二哥张作孚时刻也没忘杀父仇人王二，决心找机会杀死他。张作霖自从得了一杆土枪，没人的时候就拿出来小心地擦拭一遍，然后再小心地藏起来。一天，有人从海城老家到小黑山这边来，告诉张作霖母子：“恍惚听说王二偷着回海城了，可是没见着真人实影。不知道消息准不准？”
张作霖自打听到了这个信，心里就长了草，饭也吃不香，觉也睡不着，托人给大高坎杜家店当长工的二哥张作孚捎信，要他无论如何也要回家一趟。张作孚得着信，不知家里出了什么事，急如星火地往家里赶。张作霖见二哥回来了，就避着母亲把王二回来的消息告诉了他，还给张作孚看了自己的那杆土枪，接着谈了自己的复仇计划。张作孚是个点火就着的脾气，表示要及早动手，说：“官府衙门不抓，咱们哥俩自己干！你心眼多，二哥听你的。”张作霖哥俩商量好计划后，就悄悄准备干粮和盘缠，又找来一床破被把土枪裹起来，当做行李卷扛在肩上。那时候，张作孚身体好，常练跑步；张作霖身体差，就借了邻居郝大爷家的一头驴。一切准备妥帖之后，小哥俩趁母亲没在家的工夫，偷着上路了。他们饥餐渴饮，披星戴月，迈开大步往海城方向赶。半道上张作霖买了几个肉包子，但舍不得吃，小心地揣在怀里。走了几天，离王二家那个村子不足三里地了，张作霖哥俩就钻进高粱地，把驴拴在一棵小树上，又用带来的干粮填饱肚子，然后倒在垄沟里等着天黑。过了好长时间，太阳也不落山，心里头十分焦急。好不容易盼着大毛狼星(金星)从西天上升起，天黑了下来。哥俩谁也不说话，地里静极了，除了蛐蛐叫声，就是他哥俩“怦怦”的心跳声。等着天上星斗出齐了，张作孚忽地坐起身，张作霖伸手拽他再倒下，然后默默地数着天上的星星。直到三星升到头顶，张作霖才一拉二哥，两人悄悄起身，打开行李卷，抽出那杆土枪，扔了破被，双双走出高粱地。他哥俩从小就熟悉这一带的路径，三拐两拐，没怎么费劲就摸进村来。村里的狗叫了起来，凡是有狗叫的地方，他就扔一个肉包子去，狗就不叫了。“肉包子打狗”这办法，是他在大车店里当杂役时候听书学来的。来到王二家院墙外，四下看看没人，张作霖蹲在墙脚下让他二哥踩着他肩膀，再一直身，把张作孚送上墙头。没料到墙是石头堆起来的，一碰，墙哗啦啦塌了下来。
住在门房里的老太婆听见响声，手拿铜铃推开房门走到院里，问：“谁呀？”猛然看见两个黑影，赶紧摇铃。张作霖一急也没看清院子里的人是谁，就扣动了扳机，枪响了，老太婆“噢”的一声倒地死了。王二听见铃声和枪声，跳出后窗，打开后门，一溜烟跑了。
张作霖见打死了人，拉过他二哥就跑。攀着院墙里的老槐树，爬上墙，跳出院外，找着毛驴，跑了。张作孚不会爬树，上不去墙。佃户老汉和家里别的人冲出来，一起动手擒住了张作孚，狠揍一顿之后，天亮后扭送海城官府。
在海城县衙里，张作孚跪在县太爷的公案前，辩称自己是为父报仇，并非抢劫；虽然杀死了人，但不是我干的。最后张作孚还是被判为误杀人命的助手，有罪入狱，判为十年徒刑。因为大清朝有可以替人坐牢的规定，张作霖的二伯父替张作孚坐的牢，最后死在狱里。
张作霖没报成仇，还赔上了二哥，心里好不后悔。因为误杀了人，他不敢回小黑山家里，扔了土枪，便只身去辽南闯荡去了。
清朝末年，政治腐败，盗匪猖獗，人民生活在兵荒马乱之中，东北土匪日益横行，1896年。21岁的张作霖离开家乡，投奔当年结识的匪首冯麟阁。冯并未将他留下，而是将他推举给另一匪帮董大虎子下当土匪。张作霖加入匪帮后，充当“揽把子”专门负责“看肉票”。他在董手下干了几年，结交了不少窜匪、赌徒、无赖、恶棍，干了不少伤天害理的事。几年的土匪生涯，使他渐渐“成熟”起来，比以前更加狡猾、奸诈、诡计多端。随之，他的野心逐渐也在增大。
1900年，沙俄侵略我国东北，各地混乱，于是匪势大炽。在黑心集一带，又出现了一支拥有四、五百人的大匪帮。张作霖率领“弟兄”慕名来访，并和匪首一见如故，于是他将自己心爱的手枪赠送该匪首作为见面礼，二人遂成至友。不久，他从一个马贩子手中抢了10余匹马，率众30余人，另立门户，而且声势渐大。