在白区工作要在敌人的眼鼻底下活动，这是很危险的，稍不小心就有可能暴露自己。到白区工作的杨靖宇早把生死置之度外，在白色区域里，他一干就是五年。在这五年中他几次被捕，但都是以自己的机智勇敢、不屈不挠而赢得胜利。
一到开封、洛阳等地他就按照党的指示，秘密发动群众、发展、保存革命力量，与敌人进行隐蔽的斗争，沉着地应付敌人。从1928年秋到1929年春的几个月时间内，他曾三次被捕，每次在狱中他都机警、灵活地对付敌人的审讯，不向敌人暴露自己的真实身份和党组织的秘密，使敌人拿不到任何把柄，最后不得不释放他。每次出狱后，他又一如既往地投入到秘密工作中去。党组织考虑到他的处境很危险，已不便继续留在河南工作，就决定把他调到东北地区工作。
杨靖宇按照党的安排，化名张贯一，来到辽宁省的抚顺、本溪地区工作。
某天晚上，抚顺煤矿的夜班采煤工人的队伍中又多了一个“煤黑子”，他熟练地干着活。开始几天，工人们很少有人与他搭话，因为工人们以前吃过不少亏，对这个新来的人很是提防。杨靖宇看在眼里，暗自为这里的工人们的警惕性高而高兴。
有一天，一个老工人病了。他拖着病重的身体向工头借钱，工头不仅不借，反而说他消极怠工，硬是要开除他。下班后，靖宇来到这个老矿工家里，从兜里掏出了两块银元放在炕上，对老矿工说：“留着看病吧，剩下的就买点粮食养养身体！”一直不开口的老矿工突然紧紧地抓住杨靖宇的手说：“老张，我看你这个人是有来历的，能不能告诉我？”靖宇微笑地看着老矿工没有回答，只是告诉他：“大家要抱成团，拧成一股劲儿与工头们斗。”这以后工人们渐渐与他接近了。他总是边干活边与工人们聊天，问寒问暖。不久，工人们亲切地称呼他“大老张”，他也和工人们交上了朋友。
在与工人们的接触中，他感到了工人阶级身上有无比的力量，团结起来就能战胜敌人。于是他日夜奔忙于矿工之中，教育他们认识苦难的根源在于社会制度的黑暗，想改变现状就要团结起来进行斗争。在他的帮助下，工人们被组织起来了。他们利用罢工等斗争形势反对日本帝国主义的压迫和资本家的剥削。
当杨靖宇正在为工人运动的开展而积极工作时，革命队伍内部出现了叛徒。由于叛徒告密，他第四次被捕。这次入狱与前三次不同。现在他面临的是狡猾奸诈的日本特务。刚一入狱日本特务就对他进行了审讯：
“你叫什么名字？”
“张贯一。”
“什么职业？”
“工人。”
“胡说！”日本特务大怒，拍着桌子叫着，“你是共产党的奸细！”
杨靖宇镇定地说：“在我们的国家里，你们为非作歹，任意逮捕人，这是违反国际法的。还说我是奸细，请你们把证据拿来！”
日本特务气急败坏地从墙上取下皮鞭，向杨靖宇头上没头没地乱抽，还声斯力竭地喊着，“说，说，你是什么人？”鲜血从杨靖宇的头上、脸上流下来，他仍一动不动地站在那里，怒视着日本特务说：“中国人！”
日本特务兽性大发，叫来两个日本宪兵，把杨靖宇捆绑在长凳上，往他的鼻子、嘴里猛烈地灌着辣椒水。顿时，杨靖宇的肺像撕裂一样、腹部胀得很大，浑身疼痛难忍，昏死过去。等他醒过来，日本特务又对他进行审讯，他还是那几句话。日本特务对他拳打脚踢，采用一切法西斯手段，十几个人轮番拷打他，把他打得遍体麟伤，一直折磨了五个昼夜，仍然一无所获。日本特务已经黔驴技穷，他们没想到杨靖宇的意志比皮鞭、铁棍还硬，只好把杨靖宇转交到了沈阳中国法院处理。在中国法院他仍然坚贞不屈，虽然已是重伤，但忍着巨痛怒斥反动派与日本帝国主义勾结，出卖国家利益、横行霸道。中国法院找不到真凭实据，可又因为是日本警署送来的，为了对付日本特务机关判了靖宇一年半的徒刑。
身陷囹圄，杨靖宇，以革命的乐观主义精神教育身边的难友，并做争取看守的工作。他通过看守找来一些马克思列宁的书籍，在阴暗潮湿的牢房里，借着小窗户透进的一点点光亮仔细地阅读，更加坚定了共产主义事业胜利的信念。
1931年夏，他刑满释放后找到了党组织，要求继续分配他工作。党组织分析了他当时的处境，感到他已经暴露，随时可能遇到新的不幸，已不适应继续留在辽宁工作，经过研究决定调他到黑龙江重镇哈尔滨工作。他还没有来得及离开辽宁，就第五次被捕。
这次被捕与被释放回来之间只相隔三天，因为敌人在破坏沈阳的互济会时，从一个被捕同志的日记中发现了他的名字。这次入狱，他再次显示了一个共产党员的高风亮节、不屈不挠的斗争精神。后来经过党组织的多方营救才出狱。
在铁窗里，正逢日本帝国主义侵略中国东北的“九·一八”事变的爆发。这一天，他们派驻扎在沈阳郊区的日军川岛中队长率兵自己爆炸了沈阳北方柳条沟附近的一段铁路，反过来诬陷是中国驻北大营的东北军炸的。于是他们以此为借口，晚上十点左右突然袭击了北大营和沈阳城。蒋介石命令东北军“绝对不抵抗”，而中国共产党则与此相反，采取了坚决抵抗的对策。
杨靖宇出狱后立刻就投入到抗日斗争中去。他被中共满洲省委派到东北担任全满反日会党团书记和中共哈尔滨市道外区区委书记。不久，他又被选为中共哈尔滨市委书记。他日夜奔走在工农群众、青年学生和知识分子中间，深入工厂、基层宣传党的抗日主张，发动和组织群众参加到抗日活动中来，使这里的抗日组织和反日会都有较大的发展。
在短短的五年白区工作中，他五次被捕入狱。在狱中，他锤炼了对党的忠心赤胆，意志更加坚定。在生生死死的考验面前，他始终是条硬汉子。