“九一八”事变后，民族矛盾上升为主要矛盾，救亡图存、抗击侵略成为摆在中国人民面前的首要任务。中共中央“一二六”指示信关于建立东北反日统一战线的精神传达到南满后，杨靖宇从南满抗日斗争实际出发，立即把这一指示精神贯彻到实际斗争中去，明确提出当前南满的实际就是动员一切力量，联合抗日。当时在南满磐石地区有许多股有各种字号的反日义勇军、山林队，其中主要有“老长青”“朱司令”“云中飞”“青林”“毛团”“殿臣”“赵团”“马团”“三江好”“曹团”等队伍。杨靖宇采取写信、发传单、派出同志到各反日义勇军和山林队中等办法，主动与他们联系，做团结争取工作，共同抗日。特别是在反日义勇军受敌进攻、处境困难的情况下，主动支援，共同打击敌人。一次，曾经攻打过南满游击队的“马团”“赵团”遭到日伪军的包围，杨靖宇听到这一消息后，立即带队伍去解围。这两支队伍后来和南满游击队团结战斗。杨靖宇曾亲自出面，在多次围攻过抗日部队的“毛团”士兵面前讲话，宣传共同抗日救国的道理，表示要团结他们一致抗日，使“毛团”士兵对游击队产生良好印象，都说游击队不记私仇，是真正抗日的，结果“毛团”开始向游击队靠拢。同时杨靖宇还教育干部战士，对像“毛团”这样的部队，只要它举旗抗日，即便还不十分坚决，也要尽可能争取他们参加到反日统一战线中来。不久他还派宋铁岩去做“毛团”首领毛作彬工作。经过争取，最后，毛作彬同意与游击队联合作战，这对其他反日义勇军、山林队产生了很大影响。随后，杨靖宇联合那些反日义勇军、山林队发动了大兴川战斗、进攻伊通县营城子镇战斗、进攻三道沟伪满军营房战斗、破坏吉海铁路战斗和攻打吉林七、八区战斗等，使反日义勇军逐渐团结在游击队周围，进而要求在组织上实行联合。在这种形势下，杨靖宇决定建立反日军联合组织——联合军参谋部。1933年7月下旬，杨靖宇领导的南满游击队在桦甸八道河子附近山中，和“毛团”“殿臣”“赵团”“马团”“三江好”“四季好”“韩团”等抗日武装领导人70余人及各部官兵千余人共同举行了反日军联合参谋部成立大会，一致选举出杨靖宇为政治委员、毛作彬为总司令、李红光为总参谋长、傅殿臣为军需长。东北人民革命军第1军独立师成立后，为扩大游击区域，更广泛地团结辉发江南各抗日义勇军，杨靖宇决定独立师主力进军辉发江南，在取得了攻打三源浦、凉水河子、八道江镇三次战斗胜利后，于1934年2月21日在临江县三岔子城墙砬子附近山林中召开了会议，参加会议的除人民革命军第1军独立师领导人外，还有16支大小抗日部队的首领。会议专门研究了联合抗日问题，通过了斗争纲领、联合抗日宣言及目前的工作任务等决议，正式决定成立抗日联军总指挥部。除东北人民革命军第1军独立师所属部队外，总指挥部将其他各抗日部队共编成8个支队，并且划分了活动区域，统一调动，进行抗日斗争，总兵力达到4000余人。杨靖宇带领这支队伍和日伪进行多次战斗，取得了1934年反“讨伐”的胜利。此后，东北人民革命军第1军和杨靖宇的名字在南满城乡大地几乎家喻户晓。抗日义勇军、山林队主动要求同第1军联合的也更多了。至同年底已有数千人接受杨靖宇的领导。
　　在救亡图存的危急关头，由于杨靖宇正确执行了党的抗日民族统一战线政策，东北抗日的局面由开始时自发的、零散的武装抗日斗争，逐渐走向中国共产党领导下的有组织的武装抗日斗争，标志着东北抗战进入一个新阶段，白山黑水之间的抗日烽火从此以燎原之势燃烧起来。东北人民革命军全部活动区域已由开始的磐石、伊通等县发展到南满20多个县。杨靖宇领导的东北人民革命军第1军已经成为南满地区各种抗日武装公认的领导核心力量。中共满洲省委对楊靖宇贯彻执行抗日民族统一战线工作予以很高评价。满洲省委常委小洛1936年7月在莫斯科向中共驻共产国际代表团汇报南满地区工作时，肯定杨靖宇“在运用统一战线方面，最近已开始获得很大成绩”。