玄宗为上临淄王时，赵丽妃、皇甫德仪和刘才人都受到宠爱，赵妃生子李瑛，后立为太子，皇甫德仪生了鄂王李瑶，刘才人生了光王李琚。玄宗登基为帝后，又喜欢上武惠妃，赵丽妃等人都被冷落。武惠妃生的儿子是寿王李瑁，玄宗对他宠爱有加，是其他皇子所不能比的。太子曾和李瑶、李琚聚在一起，因自己的母亲受到冷落而心中不满，怨言满腹。都尉杨洄是武惠妃女儿承宣公主的丈夫，他时常暗中打探其他三位皇子的过错，然后告诉武惠妃。武惠妃向玄宗哭诉道：“太子阴谋网罗党羽，想要加害我们母子，而且斥责皇上。”玄宗听后大怒，把此事告诉了宰相，想要废掉太子和鄂王、光王。张九龄说：“陛下登上皇位将近三十年了，太子与诸王都没有离开过深宫，天天都受到皇上的教导，天下百姓都庆幸陛下把国家治理井井有条，久居皇位皇子皇孙繁盛。现在三个皇子都已长大成人，没听说有什么大的过失，陛下为何要听信那些没有根据的言论，因为一时的好恶，将他们全部废掉呢？春秋时，听信马丽姬谗言的晋献公错杀太子申生，导致晋国三世大乱。汉武帝因为相信江充的诬告治了太子的罪，使京城发生了流血案件。晋惠帝由于相信贾后的诬陷废掉了愍怀太子，使边疆民族进攻中原，百姓遭受战火之灾。隋文帝听信了独孤皇后的话废太子杨勇而立隋炀帝，以致失掉了天下。由此来看，废立太子一定要慎而又慎。皇上如果一意孤行，臣恕难从命。”玄宗听后心中不快。李林甫开始没有说什么，退朝后暗地里却对玄宗宠爱的宦官说：“这是皇上的家事，何必要与外人商量！”玄宗仍拿不定主意。这时武惠妃又悄悄让官奴牛贵儿告诉张九龄：“只要你能在废立太子一事上助我一臂之力，就可稳居相位。”张九龄怒斥了牛贵儿，并把这些话告诉了玄宗，玄宗因此有所醒悟，所以一直到张九龄罢相太子的地位没有动摇。但由于李林甫不断地在玄宗面前诬陷张九龄，张九龄渐渐被玄宗疏远了。
李林甫官居宰相手握重权后，就开始颠倒黑白，结交朋党，欺蒙圣上，使唐王朝的政治更趋于黑暗。
后来，朔方节度使牛仙客以前在河西镇时，能够节约用费，勤于职守，因此河西镇仓库中的军用物资储备充实，武器装备精良。玄宗听说此事后，想要嘉奖他，任命他为尚书。张九龄说：“不能这样做。尚书就是古代的纳言，唐朝建立以后，只有曾做过宰相和朝野内外德高望重的人才能担任。牛仙客以前仅是河湟地区节度使判官，现在一下子就被提升为尚书，臣恐有辱于朝廷。”玄宗说：“那么只封给他有实封户数食邑行吗？”张九龄回答说：“这也不行。封爵本是为了奖赏有战功的人。牛仙客作为边将，充实仓库，修理军器，本是他分内之事，谈不上有什么功劳。陛下若要奖赏他勤于政事的功劳，赐他金帛就可以。而分土封爵恐怕不妥。”玄宗沉默不言。李林甫对玄宗说：“牛仙客本来就是宰相之才，当个尚书又算得了什么！张九龄是一介书生，不懂得大道理。”玄宗听后非常高兴，次日，又说要封食邑牛仙客，张九龄仍然坚持说不可行。玄宗大怒，脸色大变说：“朝廷大事都要由你来做主吗？”张九龄叩头谢罪说：“陛下您认为我可用，让我居宰相之位，对于朝中大事的错对之处，我只能直言相告。”玄宗说：“你嫌牛仙客出身贫寒，那么你的出身有何高贵呢？”张九龄说：“我不过是岭南地区一介贫民，不像牛仙客出生中原。但是我在台阁之中，掌管诰书诏命已有很多年。牛仙客只是一边疆小吏，又不识字，重用他难以让众人信服。”李林甫退朝后说：“只要有才能，何必一定要会写诗歌文章！”十一月二十三日，牛仙客受封陇西县公爵位，封食邑实三百户。
开元二十四年（736年），张九龄屡屡直谏被罢相，杨洄再次诬谮太子等人与太子妃兄薛铺阴谋勾结，很有可能会谋反。玄宗召集宰相讨论。李林甫说：“这是皇族内部事务，不是外臣应该议论的。”于是，宦官奉命到宫中宣旨，废太子李瑛，并和李瑶、李琚一起贬为庶人。不久，李瑛、李瑶、李琚在城东驿被赐死，薛铺在蓝田被赐死，太子舅家，李瑶舅家受牵连被流贬的有数十人。
十月，玄宗驾临东都洛阳，原打算在来年二月初二返回长安，后来因洛阳宫中有“怪”，弄得玄宗惶恐不安，决定立即返京，召集宰相，商议西还事宜。张九龄等人建议玄宗冬季再返回长安，因为当时正赶上农忙时节，启动圣驾，势必耽误农事，加重沿途州县负担。李林甫早已揣测到玄宗的心意，但是他当时并不表态，等张九龄，裴跃卿退下后，他才对玄宗说：“长安、洛阳是陛下东西两京，陛下来往于两地视察，不需要选择时间，假使妨碍了农收，只要减免沿途州县的租税就行了。臣请通知有关部门，即日西行。”玄宗心中大悦，采纳了李林甫的意见。李林甫由于事事顺合玄宗心意，而得到玄宗的赏识。
开元二十四年（公元736年）年底，唐玄宗迁九龄为尚书右丞相，罢知政事。不久以后，由张九龄举荐的周子凉弹劾牛仙客，玄宗再次被触怒，张九龄又被贬荆州长史。开元二十八年（740年）九龄病逝。
开元二十六年（738年），太子李瑛死后，玄宗在设立太子的问题上踌躇不定。寿王李瑁在玄宗诸子中排行十八，又无特殊才华，特别是武惠妃在开元二十五年（737年）失宠后，玄宗对他不再偏袒。忠王李玛年长，且又仁孝恭谨，按理应立为太子。李林甫多次劝玄宗立寿王李瑁为太子，其目的是想成为新太子的鼎力支持者而巩固权势。最后玄宗在高力士的劝说下把李玛立为太子，致使李林甫的打算落空。由于太子不是自己所立，为此李林甫围绕太子李玛（后改名李亨）阴谋制造了一场殃及范围极大的冤狱。
有一次，玄宗在勤政楼垂帘观看乐舞，兵部侍郎卢绚不知道，便提鞭按辔从楼下穿过。卢绚风度翩翩，玄宗目送其远去，感叹卢绚含蓄不露的风度。李林甫时常用金钱贿赂玄宗左右的人，玄宗的每一个想法和行动李林甫全部了解得很清楚。于是李林甫召来卢绚的儿子说：“你父亲名望很高，如今交州、广州需要才能高的人去治理，皇上想令你父亲去，不知他愿不愿意去？倘若恐惧远行，就会被降官，否则，只有以太子宾客或詹事的身份在东都任官。这也算是优惠贤者的任命，不知如何？”卢绚听后，心里很害怕，于是就主动奏请改任太子宾客或詹事。李林甫又恐怕违背众望，就任命卢绚为华州刺史。卢绚到官时间不长，李林甫又造谣说他有病，不理州事，任命他为詹事、员外同正。
玄宗曾问李林甫：“严挺之现在哪里，这个人还是有才能的。”严挺之曾任中书侍郎，与张九龄关系很好，张九龄罢相时受牵连贬为洛州刺史，后改绛州刺史。林甫害怕严挺之再次入朝为言官，私下里叫来严挺之的弟弟严损之说：“皇上对尊兄印象很好，何不上奏，请求回京师就医，也好能让圣上看到。”严挺之不知事情经过，便按照李林甫旨意上奏，李林甫拿着严挺之的奏文启禀玄宗：“挺之衰老得风疾，为使其安心养病，只宜授给散秩。”玄宗很感惋惜，只好授严挺之为詹事。当时公卿的任用，若不是走李林甫关系上来的，他都想法加罪除去，弄得人人都怕他。右赞善大夫杨慎矜被升为知御史中丞事，但是他畏惧李林甫而不敢接受，玄宗只好改授谏议大夫。户部尚书裴宽素来受玄宗赏识，李林甫恐怕裴宽被任命为宰相，因此对其十分嫉妒。这时刑部尚书裴敦复讨伐海盗吴令光回朝，李林甫接受请托，帮人吹嘘战功，裴宽私下向玄宗奏报此事。李林甫知道后，告诉了裴敦复，裴敦复就告诉李林甫说裴宽过去也把他的亲人托付过自己，于是李林甫说：“你马上上奏皇上，不要让别人先告了你。”裴敦复就用黄金五百两贿赂女道士杨太真的姐姐，让她告诉玄宗。裴宽因此被贬为睢阳太守。
张九龄被罢去相位后，围绕在玄宗周围的多为奸佞小人，朝臣们都明哲保身，无人再敢直言进谏，自此朝政开始走向混乱，而此时的唐王朝也是危机四伏。