肃宗对李泌亲如师友，出则并马而行，寝则对床而眠，跟他太子时一样。他事无巨细都首先征询李泌的意见，可以说肃宗对李泌是言无不从；李泌实际上是朝政的决策人。李泌与群臣商议，要以建宁王为元帅，李泌向肃宗提出建议：广平王为太子，他担任统军元帅称为“抚军”，如果让建宁王担任元帅，一旦他立下极大功勋，势必造成争夺皇位、兄弟萧墙的不看局面。肃宗立即醒悟，以太子广平王为天下兵马大元帅，统率诸将东征安禄山。肃宗为李泌特设侍谋军国，元帅府行军长史官衔，命李泌随军而行，并赐紫袍一件，李泌受命而行。临行前，他对肃宗说：“不出二年，就可消灭贼寇。”李泌的理由是安禄山这些人把掠夺的子女财宝，尽运归老巢范阳（北京大兴县），因此他们没有占有四海的打算，跟随安禄山反叛的，也只有史思明、安宁忠、田乾真。张忠志、阿史那承庆几个骁将，中原人不过高尚等几个人，其余都是胁从，安史叛军容易发生内讧。
李泌为唐肃宗制定了消灭叛军的作战计划。首先，令李先粥自太原出井陉，郭子仪自冯翊入河东，使安禄山部将史思明。张忠志不敢离范阳、常山，安守忠、田乾忠不敢离长安，那么随从安禄山守洛阳的就只剩下一个阿史那承庆；李肃领兵驻扶风，与郭文仪、李光弼两军分次出击，叛军来救头，就击其尾；叛军来救尾，就击其头，这样就让叛军在范阳至长安数千里的战线上，顾首失尾，疲于奔命，唐军则以逸待劳，叛军来了不和它交锋，走了就乘机追击，不攻叛军城池，不断叛军归路。第一步计划的目的就是要拼命拖垮叛军，伺机消灭他们的有生力量。其次，命建宁王、肃宗的次子李倓为范阳节度使，率军治边境进攻范阳之北；命李光弼进攻范阳之南，南北夹击，攻取范阳，使叛军退留不得，处于进退两难境地，于是再命大军四面围攻，一举歼灭。李泌的二步计划是正确而又可行的，可惜肃宗虽然对其尊如师友，但却没有真正听进他的意见，因而李泌的计划就落了空。
及后，安禄山集团内部发生内讧，安禄山被儿子安庆绪杀死，史思明占据范阳。而不听安庆绪调遣，此时，肃宗已进驻凤翔，陇右、安西、西域的兵已经到达，江、淮的庸调也运到汉中，李泌请示肃宗接他提出的二步计划用兵，派安西、西域兵顺边境进攻范阳。但唐肃宗却急于收复两京，享受做皇帝的威风，他说：“现在正该攻取两京，引兵攻范阳，不是绕得太远了么？”李泌说：“今以此众直取两京，必得之。然贼必再加强，我必又困，非久安之策。”李泌进一步阐述了进攻范阳的道理：官军的主要力量是西北守边士兵和少数民族人，他们不习惯关东的炎热暑气，如进攻两京，敌人收其余众，集中于巢穴，天热之时，官军必畏暑思归，留也留不住；叛军在老巢休整后，一定重来夺取，战争也就无休无止了。不若先取范阳，使叛军无所归，从根本上断绝了他们的退路。肃宗对李泌的正确主张不予采纳。
过不多久，肃宗把郭子仪从河东调到凤翔，任命他为天下兵马副元帅，率军进取长安。然而郭子仪进军不利，唐军多次战败。至德二年（75）九月，郭子仪建议借用善战的回纥兵，肃宗同意后，回纥仁可汗派其子叶护率精兵。千来到凤翔。肃宗为早日攻取长安，许以“克城之日，土地、士庶归唐，金帛、子女皆归回纥”此时，李泌已不见重用，如同闲散之人一样。
由元帅李俶、副元帅郭子仪率朔方等军队及回纥、西域之众十五万人，从凤翔出发，进取长安。大玻敌军，叛将军守，日乾真率败兵逃出潼关，唐军进入长安，紧接着，又攻取了洛阳。唐肃宗虽然收复了洛阳、长安东西两京，但并没有从根本上消灭叛军。
安庆绪逃亡河北，占据邺郡，还拥兵六万。肃宗派郭子仪、李光扔进攻安庆绪，又派宦官鱼朝思为观军容宣慰处置使；鱼朝思实际上成了大军的统帅。官军和叛军在邺城激战，史思明从范阳发兵十三万，支援安庆绪，结果官军大败。及后史思明杀了安庆绪，自立为大燕皇帝，叛军又再度复起，出现这一局面，应该说是肃宗不采纳李泌作战计划的结果。肃宗收复长安后，召李泌入见。
李泌请求离朝廷回归故里，说自己有“五不可留”：“臣遇陛下太早，陛下任臣太重，宠臣太深，臣功太高，迹太奇，此其所以不可留也。”还说：“陛下不听臣去，是杀臣也。”唐肃宗说：“我与你同忧患多年，现在正好同享乐，你怎么说要走呢？”再三挽留，但李泌离意已定，最后肃宗从其所请。
至德二年（757）十月，李泌离开朝廷到衡山稳居，肃宗命郡县为李泌建造住宅，并按三品俸禄给予照顾。事实上李泌离开朝廷，是为了避免杀身之祸，由于深受肃宗优宠，正受到权臣崔园、宦官李辅国的忌恨，李泌预见到自己必定有杀身之祸，他激流勇退，就是出自这样的考虑。
二、代宗之亲信
肃宗驾崩，广平王李俶（即李豫）即位，是为代宗。大历三年（768），代宗派人去衡山召李泌来京师。代宗对李泌礼遇有加，赐金印紫缓，在蓬莱殿侧为之作书院，军国大事均与之商议。代宗意欲拜李泌为相，李泌还是固辞不受。李泌是隐士。不食酒肉，不娶妻，讲神仙、怪异，以世外人自居。代宗要他做世俗人，食酒肉、娶妻子、受禄位，但李泌还是不肯受命。代宗最后强迫李泌娶卢氏女为妻，并赐第光福里。
李泌受代宗的如此优宠，引起了宰相元载的强烈不满。元载于大历五年（770）除掉了专横的宦官鱼朝恩，博得了代宗对他特别宠任，元载也就更加骄横，弄权舞弊，无恶不作起来了。他为除掉李泌，诬陷李泌“与鱼朝恩亲善，宜知其谋”。代宗没有听信他的谗言，反而说：“北军，泌之故史，故朕使之就见亲故；朝恩之珠，泌亦预谋，卿勿以为疑。”但元载及其党羽继续寻找机会栽赃证害李泌。
代宗对元载的作为开始反感和厌恶，他对李泌说：“元载不容你，朕把你藏起来，待我除掉元载后，再请你回来。”于是拜李泌为江西判官，成为江西观察使魏少游的助手。大历十二年（777），唐代宗杀元载，籍没其家，单胡椒就有八百石，其他财产就可想而知。代宗召李泌人京，一见面就谈起元载的事。代宗说：“好不容易，八年才杀这个贼，几乎不以与你见面。”李泌说：“臣下有罪，早就该处置，何必容忍太过，”元载是死了，但用人问题上的斗争不会结束。李泌杰出的才能又为宰相常衮所忌。常表建议代宗派李泌出任州刺史，使其懂得人间的利弊，然后再到朝廷做官。代宗没有听从他的意见。后来，澧州刺史缺，又借口李泌善于治理，代宗终于派李泌为澧州刺史，又改任杭州刺史，李泌均能够政绩卓著，清誉满载。
三、德宗之宰相
代宗病逝，太子李运接位，是为德宗。德宗当太子时，在长安西郊的道教静修胜地听过李泌的讲经，受过李泌的影响。德宗即位后，国家处于纷乱状态，安史之乱虽已结束，但藩镇的叛乱，此起彼伏，从未停息过。先是成德、淄青、魏博、山南东道节度使联合反抗中央，形成四镇之乱，紧接着又发生了淮西之乱。淮西节度使李希烈于建中三年（782），自称天下都元帅，出兵对抗中央，气焰嚣张。
德宗诏径原节度使姚令言率兵支援襄阳。殊料到了京城，部队发生兵变，占领了皇宫，并哄抢了皇家私库，拥戴原径原节度使朱泚为帝，朱泚自自称大秦皇帝，德宗逃往奉大（今陕西乾县）。当时幸好有朔方节度使李怀光领兵击败朱泚，奉天之忧方才化解。李怀光恃功逼走奸相卢杞，最后却与朱泚勾结反抗朝廷，兴元元年（784）名将李晟收复长安，朱泚逃亡被杀，德宗回到长安。在如此纷乱的情况下，德宗在长安召见杭州刺史李泌，任李泌为左散骑常侍，日值中书省，随时候对。
李泌兢兢业业，为德宗处理了一件件军国大事。原先德宗讨伐朱泚时，曾向吐蕃求援，答应成功后将安西、北庭两镇给吐蕃。长安攻下后，德宗要实践诺言，李泌以为不可，他提出安西、北庭控制着西城五十七国和十姓突厥，它们控制着吐蕃，使之不能并兵东侵，如将两镇给予吐蕃，那么关中就危险了。李泌还提出，吐蕃援兵当时观望不前，并无功绩可言。
朝臣们都赞同李泌的意见，德宗才没有将两镇给予吐蕃。贞元元年（785）七月，陈虢都兵马使达奚抱晖杀死节度使张劝，代理军务。德宗对此十分担忧，他派李泌为陈观察使，前往处理。德宗想派神策军护送上任，李泌以为不必要，说：“陕城三面悬绝，攻之未可以岁月下，臣请以单骑人之。”德宗说：“朕方大用卿，宁失陕州，不可失卿。”李泌坚持独往，他大义凛然地说：“今事变之初，众心未定，故可出其不意，夺其奸谋。”李泌请与唐将马隧同行。临行前，通过陕州进奏官传话：“朝廷正督这江淮来以赈济陈虢，若抱晖有功，则赐族节”，消除了抱晖的敌对情绪。
李泌入陕州时，称抱晖保城有功，还对其部将进行安抚。李泌离开长安之时，德宗把参加叛乱的七十五人名单授泌，要求他诛杀。李泌不得已，只把五人送往京师，恳请赦兔，其他人一概不间，抱晖逃往他乡，避免了一场叛乱。贞元三年（787）六月，李泌任中书侍郎、同中书门下平幸事，做了宰相。李泌担任宰相后，第一件事是劝谏德宗勿猜忌武将，勿加害功臣。名将李双马隧，对国家有大功，但功高必震主，恐遭不测。
李泌对德宗说：“如果陛下加害他们，则宿卫之士，方镇之臣，必然愤怒而不安，内外之变必然再起。”他又当着马隧、李晨的面，对德宗说：“臣愿陛下勿以二臣功大而忌之，二臣勿以位高而自疑”。德宗对李泌的劝说，深有所悟，因而避免一次朝廷危机。李泌为宰相，不仅保护功臣武将，在加强中央政府权力方面也提出了很重要的意见。
德宗要宰相分工：“凡军旅粮储事，卿主之；吏、礼委张延赏，刑法委柳浑。”李泌表示反对，说：“宰相之职，不可分也”，“若各有所主，是乃有司，非宰相也”。德宗听从了他的意见。在地方建设上，李泌反对大减州县官的做法。原先，德宗认为，现在户口比太平盛世减少三分之二，官员也应相应减少。李泌却持相反意见，他认为，现在户口虽减少，事情却比太平盛世增加十倍。李泌请求德宗批准视实际情况而定。德宗采纳了这些意见。在保证清运畅通，增加国家财政收人方面，李泌也做了不少工作。为了减少国家开支，他改革了西域人留京的供给制度，每年为国家节省下开支五十万缗。在对待太子问题上，李泌更是直言敢谏。