一开始，张作霖并不十分同意与南方妥协。1926年底，英国公使兰普森就曾劝张作霖实现南北议和停战，划江而治。张作霖却大摇其头说，翻开中国的历史来看，都是北方统治南方，这种状况不能在自己手里有所改变。不过，随着形势的演变，张作霖开始明白，用武力完全消灭南方革命势力希望渺茫。尤其当他看到蒋介石具有反共倾向后，在继续准备战的同时，也开始试探分化革命阵营的可能。他公开发表讲话称：“余之起兵非仇抗任何党派，而专为消灭过激主义，舍过激主义，皆有商量之余地。”
1927年4月6日，张作霖命令奉军和“京师警察厅”出动数百名宪兵、警察，包围、袭击苏联驻华大使馆，逮捕包括著名共产党人李大钊在内的几十名所谓“赤化”分子，不久，李大钊等一批革命志士被杀害。这一践踏国际公法和外交惯例的做法，得到列强各国的默许和支持。苏联政府事后立即见召北京政府驻苏代表郑廷禧，向中国提出严重抗议。当时，郑廷禧不知详情，无言以对，搪塞说：“中国政府决不会干这样的事，想必是土匪所为。”不料，此话传到张作霖的耳朵里，他气得暴跳如雷，大骂外交人员混蛋。张作霖出身土匪，最忌“土匪”二字，尽管他的所做所为，与“土匪”行为并无二致。
不到一星期，蒋介石也在上海发动“四一二”反革命政变，一方面宣布与苏俄决裂，另一方面大肆屠杀共产党人。
然而，奇怪的是，张作霖与蒋介石虽在“反赤”的问题上表现出惊人的一致，“南北妥协”最终却并没有实现。因为无论是张作霖，还是蒋介石，都想大权独揽，迫对方臣服。彼此在“反赤”问题上的默契，却不能化解他们之间在争夺权力方面的尖锐矛盾。蒋介石宣布的南北和谈的条件是：张作霖下野、安国军改组、奉系宣布信守三民主义和悬挂国民党党旗。张作霖的条件是：“以长江为界，南北分治”，等等。双方差距太大。
这样，战场上分个高低已在所难免。蒋介石在建立南京政府后不久，1927年5月，即调兵遣将，向苏北、皖北的张宗昌所部直鲁军及孙传芳残部发起进攻，开始进行所谓的“第二次北伐”。张宗昌、孙传芳抵挡不住蒋军的攻势，节节败退，一直退到陇海线以北山东境内。5月底，蒋军先后占领了蚌埠、徐州。
与此同时，武汉政府所属的唐生智、张发奎部，也在冯玉祥国民军的配合下开始“第二次北伐”，进攻河南的张学良所部奉军，并于5月下旬先后占领开封、郑州，奉军被迫退至河北境内。
军事形势急剧逆转，一贯见风使舵的山西军阀阎锡山，决定倒向蒋介石和冯玉祥一边，宣布服从三民主义，将所部改换称国民革命军，出兵娘子关，威胁京汉铁路奉军侧背。
显然，在1927年的5、6月间，形势变得对奉系十分不利。在此情况下，究竟应取何种对策，奉系内部再度出现分歧。主和派主张与南京蒋介石集团谈判，主战派则表示反对谈和。阎锡山归顺南京政府之初，曾受蒋介石之托，派南桂馨到北京，传达南京的和平条件，劝告奉系与南京合作。为此，奉系也曾于6月9日在京召开干部会议，商讨对策。会上，主和派的意见一度占上风，包括张作相、吴俊升在内，多数人都赞成可在三民主义的范围内更换名号，与南京合作。但张作霖未作定论，表示要待张宗昌、孙传芳回京后再议。6月11日，张宗昌、孙传芳抵京。据说，孙传芳坚决反对议和，并游说奉系各将领。因受孙传芳影响，许多原来拿不定主意的将领，也开始倾向主战。张作霖也认为南京的条件太苛刻，不能接受。6月16日，奉系将领偕张宗昌、孙传芳再次在顺承王府举行会议，讨论和战问题。这次会议与9日会议的气氛完全不同，多数人反对屈从南方，认为不能在如此苛刻的条件下与南京和谈，故会议决定，继续加强战备，并立即组织“安国军政府”，统一北方的政治、军事，与南京、武汉对抗到底，完成“反赤”大业。会上，孙传芳首先提议，推戴张作霖为“安国军政府”的国家元首，至于名称，可称大元帅，也可称临时大总统，或临时执政。他的意见得到张宗昌和其他奉系将领的一致赞同。张作霖早就想过一过“元首”瘾，高兴地对大家说：“好极了，你们要怎么办，我都依你们就是。”会议最后还决定，仿照孙中山的先例，“元首”暂称“陆海军大元帅”，不用临时总统一类的名义。
会议结束的当天，即由孙传芳等8位将领联名发表所谓拥戴电。张作霖则通电表示欣然接受拥戴。就这样，一唱一和，张作霖算是完成了充当北洋政府国家“元首”的“法律手续”。
接着，6月18日，张作霖又在中南海怀仁堂举行“陆海军大元帅”的就职仪式。表面上，仪式十分隆重，还放了一百零八响礼炮，但实际上参加仪式的仅孙传芳、张宗昌和少数奉系将领而已，故显得特别冷清。至于北京市民，态度更是冷漠。举行仪式的前一天，京师警察厅曾命令各商家悬旗志庆，各中文报纸一律出红色报三日。但各报却推说买不到红色油墨，只出了一天。京城百姓对军阀政府的更迭早就感到厌烦，对“安国军政府”和张作霖这位“大元帅”也无好感。
就职后，张作霖以“元首”身份发布了军政府组织令，其中规定“大元帅”亦即国家“元首”，不但权力大大超过“内阁制”或“总统制”的“总统”权力，而且不受任何制约，完全是一个“独裁者”。
张作霖任命潘复为国务总理，王荫泰为外交总长，何丰林为军事总长，沈瑞麟为内务总长，阎泽溥为财政总长，姚震为司法总长，张景惠为实业总长，刘尚清为农工总长，刘哲为教育总长，潘复兼交通总长。
张作霖当“元首”后从事的第一个外交活动，是举行一个大元帅就职茶话会，邀请各国公使及武官参加。令他大失所望的是，各国外交人员虽应邀前来，却都穿着常服，且毫无祝贺之语，表明各国对军政府的成立和张作霖就任国家“元首”并不重视。尽管张作霖在致词时一再表示，他将“尊重国际信义”，“保护外人之生命财产”，也有能力这样做，但各国使节对张作霖政府的施政能力根本不相信。
在军事上，张作霖将北方的所有军队一律改称为“安国军”，并统编为七个军团，任命孙传芳、张宗昌、张学良、韩麟春、张作相、吴俊升、褚玉璞分别为第一至第七军团军团长。
军政府从组成之日起就显得底气不足。5、6月间，在蒋介石、唐生智、冯玉祥各路大军的攻击下，奉、鲁军被迫节节后退。张作霖颇感形势严重，一方面收缩阵地，整顿内部，另一方面则不断地放出试探气球，大造“南北妥协”的舆论。在就任“大元帅”之后，张作霖还发布了一个所谓的“息争令”。在专为贯彻这个“息争令”而发的通电中，他竟以“中山老友”的身份，大谈实现所谓的“中山之志”和“中山主义”，并一再表白自己曾资助过孙中山，来同南方各派套近乎。电文称：
共和肇造，治权在民。回思缔造之艰，实维孙前大总统首创革命，百折不回，始克肃清帝制，还我民族自由。作霖与中山为多年老友，十一、十三两年之役，均经约定会师武汉。信使往还，物质援助，彼此精神契合，始终如一。当时在事同志，类皆奔走后先。嗣以北方底定，中山以粤中内部变化，时以不克会师为憾。北京会晤，欢洽平生，后以邦家多难，中山赍志以终，一切建设大端，皆属后来之责。是作霖与中山一生宗旨，本属相同。不意过激分子，假借中山主义，投降外人，宣传赤化，害民祸国，背友蔑伦，种种罪恶，难以指数。岂惟人类害群之贼，实背中山在天之灵；岂惟我国民族之羞，实为世界和平之敌。用是简率师徒，施行讨伐，实以继中山之志，并非有政见之殊。兹以中央负责无人，忝膺艰巨，缅怀先烈，时切兢兢，特再郑重声明：凡属中山同志与其真正三民主义不相违背，平时为共产党徒胁迫无可起诉者，仍当本中山合作初衷，一律友视；其有引狼自卫，卖国祸民、怙恶不悛、甘心赤化者，作霖为老友争荣誉，为国民争人格，为世界争和平，仍当贯彻初衷，问罪兴讨，剑及履及，义无反顾。凡我同志及全国父老兄弟幸垂察焉。
这封通电中，张作霖希冀在反共旗号下找到与蒋介石等人的共同点，给自己觅到喘息之机。可惜的是，蒋介石并不希罕这个反共伙伴，根本不允许他以平等地位“谈和”。因此，张作霖的一厢情愿到头来只能落得个竹篮打水一场空。
然而，就在张作霖向蒋介石等人“求爱”未果之后不久，形势又发生了变化。一是冯玉祥和武汉政府的汪精卫、唐生智等人也公开背叛革命加入了反共行列。二是国民党内部争斗加剧，在武汉的汪、唐和南京方面的桂系逼迫下，蒋介石被迫下野。三是由于南方各派系之间矛盾激化，一时无暇顾及张作霖，不得不在军事上对北方奉系集团暂取守势。张作霖顿时又神气起来，认为这是奉系重整旗鼓、恢复已失地盘的天赐良机。于是，他将“和谈”的念头丢到一边，决定乘此机会发动攻势。
7月下旬，张作霖首先让张宗昌、孙传芳率部，从山东向南进攻。由于南京政府内讧，所部军队没有斗志，故孙传芳部进展顺利，于8月8日重新占领徐州。8月17日，孙军又乘胜打到长江北岸，占领了浦口。
张宗昌、孙传芳部获胜的消息传到北京后，张作霖大受鼓舞，再次召开军事会议，研究下一步计划。与会者也都认为，整个形势的发展对北方十分有利，故一致赞同张作霖继续实行“反攻”计划。会议还决定，津浦路南端的军事行动由孙传芳负责主持，张宗昌则组织所部鲁军“反攻”河南。此外，由张学良率部在京汉线北段对付山西阎锡山所部晋军，得手后再南下河南，与张宗昌部合击冯玉祥部国民军。
这个“反攻”计划，看上去雄心勃勃。但是，张作霖又一次错误地估计了形势，结果再次严重受挫。
从8月下旬起，集结于长江北岸的孙传芳部，开始发动新一轮反攻。他的计划是从浦口、扬州、江阴三处同时渡江，然后分路进攻南京和截断沪宁铁路，得手后再攻上海，以收复他的江浙失地。8月25日和26日，孙军先后占领沪宁路上的乌龙山、栖霞、龙潭、镇江，并企图围攻南京。在十分危急的情况下，南京方面派何应钦的第一军和桂系李宗仁的第七军迎战孙军。双方在龙潭附近展开激战。孙军因背江而战，伤亡惨重。8月29日，白崇禧带援军从上海赶到，孙军三面受敌，再也支持不住，不得不向江北撤退。但实际上，只有一小部分人渡江回到北岸，大部分被包围歼灭。孙军此次反攻，终以惨败告终，并从此一蹶不振。
张宗昌对河南的进攻，是从10月间开始的。鲁军与冯玉祥的军队先在徐州以西的东陇海线上激战，并一度击败冯军，于10月下旬先后占领归德、民权、兰封、考城等城，威胁河南省省会开封。但冯军并未因此而垮掉。12月间，冯军重整旗鼓，进行反攻。由于孙传芳在津浦路失败，张宗昌部两面受敌，被迫放弃10月间占领的所有城市，退回山东境内。12月16日，冯军占领徐州，与沿津浦线北上追击孙传芳部的国民党军会合。
孙传芳、张宗昌的相继失败，使奉系集团的士气受到沉重打击。从此，不论是张作霖，还是孙传芳、张宗昌，都只好专力防守，不敢侈谈反攻了。
在京汉线北段作战的张学良部情况稍好。8、9月间，阎锡山为配合南京和冯玉祥方面作战，曾命令晋军乘奉军不备发动进攻，一度占领京绥、京汉铁路线上的部分重镇，对奉军造成很大的威胁。10月2日，张作霖发表讨阎通电，宣布发动讨阎战争。10月7日，张学良部即从保定等地出发，向晋军反攻。由于实力悬殊，晋军大部很快被击退，张学良率奉军夺回了宣化、张家口、定州、正定、石家庄等地。然而，占据涿州的晋军傅作义所部第四师，虽已陷入奉军四面包围，成了孤军，却在继续顽抗，拒不投降。为了拔掉涿州这颗钉子，张学良将指挥部移驻高碑店，从10月15日开始，就近指挥奉军向涿州发起总攻击。不料，此次涿州之战却极不顺利。到12月中旬为止，奉军先后发动了九次总攻击，动用了飞机、大炮、坦克等大批重武器，甚至还用了毒气瓦斯，却始终攻不下孤城涿州，最后不得不与傅作义部谈判。12月30日，双方谈判达成停战协议。次年1月6日，傅作义部出城受编，奉军则在城门外“摆队欢迎”，涿州之战遂告结束。
奉军虽经苦战，完全控制了京汉路北段和京绥路东段，却已无力南进。况且，此后不久，南方各派又重新联合起来，再度北伐，奉军更是只有招架之功，无还手之力了。
当新的一年，即1928年来临时，张作霖绝望地发现，不但他反攻美梦已完全破灭，而且他那名为“安国军政府”的北方小朝廷也濒临绝境。
悬在头上的“满蒙悬案”
正当张作霖为前线的溃退焦头烂额之时，日本方面开始乘人之危索取侵略权益。说起来，这也是张作霖自己种下的祸根。当初由于郭松龄倒戈，张作霖一度濒临垮台的边缘。为了获得日本的帮助，张作霖曾私下答应日本提出的条件，即承认日本在东三省和内蒙古东部享有商租权等。事后，张作霖虽然亲自去旅大，拜访日本关东厅长官、关东军司令官，感谢日本对自己的支持，还派代表拜访日本驻奉天总领事吉田茂表示谢意，但是，由于张作霖在王永江的提醒下，意识到他答应这些条件，等于承认日本灭亡中国的“二十一条”，便想反悔。为了推翻已经作出的承诺，张作霖玩了一个花招，他让王永江暗中指使东三省议会出面，坚决反对上述条件，他自己则以此为借口，拖延不办。他对要求兑现承诺的日本人说：“等待风头过去再说吧。”日本人十分恼怒，认为“张作霖说话不算数”“言而无信”“忘恩负义”。此后，日本把它作为“满蒙悬案”的内容，一次又一次地逼迫张作霖兑现，搞得他不得安生。
非但如此，张作霖还不顾日本反对，坚持自行筹款，在东北修筑中国的自有铁路。
日本自在日俄战争中获得南满铁路的控制权之后，不断地扩大对东北铁路权的侵略，妄图垄断东北的铁路。20年代初，东北的铁路交通虽然是全国最发达的地区，但除京奉路以外，中国的自营铁路却只有58公里。为了发展实业，张作霖不顾日本的反对，于1924年成立“东三省交通委员会”，开始自行筹款，修筑中国自营的铁路。1925年以后，东三省当局先后筑成奉天至海龙、吉林至海龙、打虎山至通辽等几条铁路，并进一步计划修筑由葫芦岛经由通辽、齐齐哈尔至瑷珲，自京奉路经由海龙、吉林到佳木斯的两条铁路干线。日本方面蛮横地认为，这些铁路的修筑违反了双方所签条约，侵犯了南满铁路的利益，等等。但是，张作霖并没有理会日本的反对，继续我行我素。日本方面则不断施加更大的压力，以迫使张作霖回心转意。
首先出面的是驻奉天总领事吉田，他与张作霖一见面就提出了一个所谓解决《满蒙悬案大纲》的草案，要求张作霖务必尽快签订。大纲列举解决商租权、在东三省增派日本警察等要求。张作霖看后，认为不能接受。于是，吉田便对张作霖威胁说：“你要真不接受的话，日方当另有办法。”张作霖一听，顿时火了起来，对吉田说：“怎么样？你有什么好办法，尽管拿出来。难道又要出兵吗？我姓张的等着你好了。”说罢便站进来送客。
吉田被张作霖顶了回来，很不甘心。当天晚上，吉田派人送来一份最后通牒式的照会，限张作霖三天内答复。张作霖气愤地说：“哼，三天？我半天就答复。”他让秘书起草了一份通知，要日本方面在接到通知的第二天12点钟以前，把东北的日本侨民全部搬走，声称过了12点，东北当局对他们的生命财产便不负保护之责。张作霖这样做，只是想回敬一下吉田，而吉田一接到通知反倒慌张起来。他急急忙忙赶到帅府见张作霖，劈头质问道：“你这是准备开火，请问要打多少年，是不是打十五年？”张作霖回答说：“没年头，头天开仗，第二天把我张作霖打死，我就不管了。”吉田被他那真不真、假不假的话弄得哭笑不得，只好暂时停止交涉。
事情当然不会这样轻易了结，随着形势的变化，尤其是随着1927年4月若王贝内阁的倒台和田中内阁的上台，日本政府对待张作霖的态度也日趋强硬。
田中等人一直认为，他的前任，特别是以外交大臣币原为代表的对华政策过于软弱，没有采取果断措施解决“满蒙悬案”。因此，上台伊始，田中便决定把对华政策作为最重要的事情来处理，尤其是要加速解决所谓的满蒙问题。
在敦促田中内阁采取强硬政策的过程中，吉田、森恪、斋藤恒等人也起了很大的作用。田中内阁成立的第二天，一贯主张积极扩张日本在东北侵华权益的吉田，就给外务省亚洲局长木村锐市写了一封信，为田中内阁出主意。在这封信中，吉田提出四条建议，主要内容为：“1.满洲和平之维护，凡是能够布置我军的地方，不论是否在铁路附属地以内或以外，切望交由我军负责。2.南方军队或苏联利用经济界的困难和奉票暴跌而煽动起来的罢工，切望我国当局严加镇压。3.切望凭借帝国的实力来经营满洲，无论在什么情况下，都要放弃细琐计谋。我们不应该依赖张作霖或杨宇霆或王永江把事情搞成。4.我们经营满洲最重要的两点，是东三省的铁路政策和金融政策。在这个地区，我们应当施行两个方案：一是拟定一个实用的计划作为货币体制；二是斟酌出一个体制，以便能够把东三省、日本、俄国和中国的铁路联成一线。”非常明显。上述建议的实质，是日本企图直接接管东北，将东北变成名副其实的日本殖民地，改变以往利用张作霖等人、羞羞答答地扩大侵略权益的办法。当时担任田中内阁外务省政务次官的森恪，和担任关东军参谋长的斋藤恒，也持同样的看法。