1932年3月，日寇侵占了黑龙江省哈尔滨市，宣告满洲国成立。这是日寇霸占中国东三省后，在东三省建立的傀儡政权。
杨靖宇虎口脱险后，1932年4月被党组织派到满洲，代理中共满洲省委军委书记。11月他来到磐石地区视察抗日活动的发展状况。磐石地区早在两年前就有了党领导的农民协会、妇女会等组织。“九·一八”事变发生后，广大农民为反对日本帝国主义侵略东三省而参加“反日会”，日寇为对付这些组织起来的农民，在许多村里建立了“保民会”，这里的农民在共产党员李红光的组织下进一步组织了专门与“保民会”作对的“打狗队”。“打狗队”当时只有七件土武器，力量较弱，以后有些发展。特别是1932年春，磐石县哈马河子一带的农民举行了一场反对日本帝国主义的暴动。之后，这支农民队伍有了一定的发展，在党领导下组织了磐石、桦甸、伊通、双阳地区的工农义勇军，即人们常说的磐石游击队。1933年这一队伍发展到了一千多人，不久与海龙游击队汇合。杨靖宇根据党的指示对游击队进行整编和改编，起名为中国工农红军第三十二军南满游击队。南满游击队下编三个大队、一个教导队。为加强对南满地区游击战争领导，党组织任命杨靖宇为南满游击队政委。
他一方面注意部队的思想建设和组织建设，调动部队的抗日积极性；一方面率领部队积极主动地寻找机会打击敌人。仅从1月到5月的几个月中就率领部队与敌作战三十多次，多次打退敌人的围攻，歼敌近千人，粉碎了敌人的“讨伐”，赢来了一个又一个胜利，壮大了游击队，建立了以红石砬子和玻璃河套为中心的抗日游击区，并扩大到了相临的几个县内。这支游击队成为南满抗日的一支生力军和主要力量，这里的热血青年，包括工人、农民、青年学生们纷纷参加游击队，再加上伪军第十四团迫击炮连在共产党员曹国安的争取、说服、教育和帮助下同情抗战，携带人员、武器宣布起义，参加了南满游击队，被编为迫击队大队，南满游击队力量日益壮大，屡战屡胜。中共磐石中心县委在向满洲省委报告工作时说，“杨靖宇担任政委后，南满游击队“战果显著”，“大大扩大了政治影响，队伍日益发展”。人们称这支队伍是“杨司令的队伍”。
1933年1月1日，日本帝国主义把魔爪伸向我国的华北，3日占领了河北秦皇岛市的山海关。在这一严重的形势下，党中央于26日发出了《给满洲各级党部及全体党员的信》，对东北抗战形势做了正确的分析，指出为了最后取得抗日战争的胜利，收复日本帝国主义盘踞的东三省，必须将满洲各方面的抗日力量组织和统一起来，建立反日的统一战线。还指出满洲的党组织要在统一战线中坚持独立性，保证党领导的游击队在统一战线中的领导权。
中央“一·二六”指示信传到杨靖宇所在的南满游击队，使他们的工作有了方向，他们按照指示信的精神进行了动员，并分析了形势，派人到当地其他抗日队伍中进行争取、教育工作，宣传党的主张。5月中共满洲省委在哈尔滨召开了省委会，再次讨论了如何按照中央“一·二六”指示信的精神，进一步团结抗日力量的问题。提出以党领导的游击队为基础，联合各抗日力量建立统一的东北人民革命军。会上杨靖宇被选为中共满洲省委委员，他很快带着省委会议精神回到南满，开始了更为艰苦细致的工作。他奔走于磐石、伊通、海龙之间，积极筹建东北人民革命军，同时，还在争取联合各种民间自发组织的抗日队伍。
在磐石一带有两支自发的抗日队伍，部队的称号都是以领导者的姓氏来定的。其中有一支是赵旅，另一支是马旅，共有二百余人。他们既打日本军，也打革命的队伍，曾与杨靖宇的队伍有过些磨擦。杨靖宇分析了这两支队伍的情况与汉奸的队伍不同，他们不是死心踏地地卖国投降，可以争取他们联合抗日。
有一天，这两支队伍突然遭到伪靖安军的重兵包围，从清早到中午他们突围几次都没有成功，而且损失较大，有被伪军吃掉的危险。杨靖宇得知这个消息后，说服自己的部下不要记前仇，以抗日大局为重，并趋势教育赵、马二旅。当时杨靖宇身边只有二十多人，他立刻把赤卫队、儿童团组织起来，共约五十人。并派人通过敌人封锁线，给赵、马送信，要他们仍坚持到底，等待游击队支援时寻机突围。然后杨靖宇带队伍在敌人背后的林子里东一枪西一枪，还让儿童团的队员点着炮竹。刚才还得意忘形的敌人一下子变得惊慌失措，不知背后来了多少人，便转过枪口向后射击。赵、马二人听到敌人背后的枪声，知道是杨靖宇的队伍来救援了，乘敌人慌乱之际突出重围。敌人腹背受敌，吓得丢下几十具尸体狼狈逃窜。赵、马二旅转危为安后找到了杨靖宇，赵旅长紧紧拉着杨靖宇的手，惭愧地对他说：“幸亏你们及时赶到，否则我们，我很惭愧，过去对不起弟兄们，这回我算知道了谁是我的朋友。以后我姓赵的如果再有三心二意，对不起磐石父老，天理良心不容。”杨靖宇诚恳地说：“过去的事，就别提了，大敌当前，今后要认准方向，枪口对准日本帝国主义！”从此，他们相互配合，共同抗日。
7月下旬，经过杨靖宇细心反复的工作，南满游击队与赵旅、马旅、天虎山林队等联合起来，成立了抗日联合军总司令部，杨靖宇被公推为政治委员。在这期间，南满游击队与敌作战数十次，打退敌人多次进攻，扩大了抗日游击区，他们用积极抗日的行动狠狠地打击了敌人、教育了群众，声威大震。