对于那些有可能威胁到自己宰相地位的人，李林甫必欲除之而后快，甚至自己的亲戚朋友也不放过。在他的观念中，官场上只有利害关系，没有亲情可言。韦坚的妻子是李林甫的舅舅姜皎的女儿，所以当韦坚受到皇上倚重时，李林甫亲近他，巴结他，讨好他。近年来韦坚因为在漕运方面成绩突出，受到玄宗的赏识，有入相之心，又和李适之关系亲密，李林甫便讨厌他了。于是在他的授意下，朝廷又罢免了韦坚江淮租庸使等使职，任命他为刑部尚书，而让杨慎矜接替他。提升为尚书，好像安排了他一个美官，实际上却夺了他的实权，使他失去了继续取得更大成绩的机会，同时也就丧失了入相的机会。
跟李林甫这样的人相处，必须要小心谨慎。李适之就是一个教训，他为人随便，不够慎重，李林甫设了一个圈套，他就轻易上当了。天宝五载（746年）正月，李林甫对李适之说：“华山有金矿，开矿采金可以增加国家财富，皇上还不知道这件事。”李适之见玄宗奏事时便建议在华山开矿。玄宗问李林甫，李林甫说：“我早就知道，但华山是陛下本命和王气所在，开凿不吉利，所以从来不敢提议在华山开矿。”玄宗写过《华岳碑》，其中说过：“予小子之生也，岁景戌，月仲秋，膺少皞之盛德，协太华之本命，故常寤寐灵岳，肸向神交。”李林甫知道玄宗迷信卜卦者的话，认为华山乃自己的本命所在，所以让李适之发生这样的失误。玄宗则认为李林甫爱护自己，看不起李适之虑事不周，对李适之说：“从今以后，有事上奏，应该先跟林甫商量商量，不要太随便了。”从此李适之对朝廷的事没有什么发言权了。
李适之失宠，韦坚失权，两个人惺惺相惜，更加亲近，李林甫更加讨厌他们。当初立太子李亨，不是李林甫的主张，李林甫担心将来会成为自己的祸害，因此常有动摇东宫的意图。况且韦坚是太子妃的哥哥。皇甫惟明曾担任忠王友，友是太子东宫和亲王府中的一种官职，他领兵与吐蕃作战获胜，入朝汇报战况，把战利品献给朝廷。在长安，他看到李林甫专权，愤激不平，见到玄宗时，劝玄宗除掉李林甫。李林甫探知此事，派杨慎矜暗中监视皇甫惟明的行踪。
正月十五夜，太子出游，与大舅哥韦坚相约见面；韦坚又与皇甫惟明到景龙观道士房里见面。本来这是很正常的一件事。在唐长安城，平日实行宵禁，由金吾卫士兵巡逻。因为上元节这天不宵禁，所以上至皇亲国戚，下至平民百姓，都夜游京城，观灯看焰火。这种情况从唐中宗时就是如此，当时有一个诗人叫苏味道，有一首《正月十五夜》的诗，其中便说：“金吾不禁夜，夜漏莫相催。”——今晚不搞宵禁，时间太宝贵了，计时的漏壶你滴得慢一点吧，好让我们多玩会儿。大家都难得有这样一个机会，不容易见面的朋友都利用这个夜晚聚一聚，那皇甫惟明又是从边境地区刚打过仗，回到长安，好不容易见一面，这不是很正常的事吗？可是杨慎矜揭发了这件事，他认为韦坚是皇亲，不应该和边将接近。
这怎么能算一种罪名呢？唐朝的法律上也没有规定，皇亲国戚，就不能跟边帅见面，见面就是犯罪。但李林甫上奏，说韦坚与皇甫惟明结谋，想共立太子即位。这一下就了不得了，是要把皇上赶下台，那就是谋反，十恶不赦的大罪。于是韦坚、皇甫惟明被关进大狱，李林甫派杨慎矜与御史中丞王、京兆府法曹吉温一起审讯此案。这几个人都是李林甫的爪牙，很快结案，罪名成立。韦坚被贬为缙云太守，皇甫惟明贬为播州刺史。另外又下了一道制书，告诫百官不要重蹈韦坚和皇甫惟明的覆辙。这算是轻饶了韦坚等人。
韦坚被贬官后，左相李适之想到这一次韦坚差一点儿掉了脑袋，而且自己平时与韦坚要好，感到非常害怕，要求担任散职。朝廷便罢免了李适之宰相职务，任命他为太子少保——一个无职无权的高官。李适之的儿子、卫尉卿李霅曾摆下丰盛宴席召请客人，客人们因为害怕李林甫，竟然没有一个人敢去赴宴。
李林甫在任宰相期间，凡不是经他引荐的人，都想方设法查找他的错处，将之排挤出去，或是罗织罪名加以陷害。由此，他的声威震动海内。所有的谏官都老老实实地拿着俸禄维持生计，谁也不敢纳谏议论朝政。补缺杜中犹不信邪，再次上疏玄宗皇上。第二天，就被贬黜为下邽令。李林甫召集诸位谏官说：“现今，上有圣明的皇帝，我们当臣子的，按照皇上的正确旨意办事还来不及呢，何用你们多嘴多舌。你们没有看到御苑内那些供仪仗使役的马吗？整天老老实实没有一点响动的，可以吃到三品的草料，只要哪匹马稍一鸣叫、不听使役，立即赶出去。从今后，你们谁再随意向皇上奏疏，他的下场就象那匹鸣叫不听使役的马一样。”这就是他的“马料论”，以后谁还敢作声？
从此，向玄宗皇上纳谏提意见的道路则被堵死了。李林甫到了晚年时，结下了许多的冤仇。他非常惧怕有仇人报复。因此，每次出行都广置车舆仆夫，派许多宫中卫士将前边百步之内的人群驱散，在两旁警卫。他居住的府第都用砖砌屋，用木板做围墙，派出许多家将仆夫日夜警卫，如临大敌。他就这样的设防保护自己。从前。历任宰相出行过街，不过有三五个侍从随行而已。士人百姓也无需在道两旁躲避。而设置骑从上百人在左右护卫，让公卿以下的人都得躲藏退避，是从李林甫开始的啊！
李林甫多次制造大案冤案，为了审问罪犯，他在长安另设了一个审讯机关，叫推事院。李林甫知道杨国忠因为堂妹杨贵妃而受到玄宗宠幸，经常出入宫禁，杨国忠提的建议，玄宗大多采纳，就拉拢杨国忠作为自己的助手，把他提拔为御史。凡是与东宫有点儿瓜葛的案子，都尽量牵扯到太子，让杨国忠上奏弹劾，交给吉温、罗希奭进行审问。杨国忠因此有机会按自己的意愿行事，排斥异己。因这样的案子受株连被判刑诛死的达数百家，都是杨国忠发起操作的。只是太子仁孝谨静，张垍、高力士又常在玄宗面前保护太子，所以李林甫始终没有机会把太子拿掉。
玄宗对李林甫的信任和重用以及李林甫的专权，都达到无以复加的程度。玄宗经常不上朝理政，官员们有事都到李林甫家秉报，御史台和尚书省经常空无一人。陈希烈虽然在尚书省值班，并没有人来见他。
过去，宰相都以德高望重立身处世，不靠权势威风凌驾于人，出行时随从不过数人，士人百姓有时并不回避。李林甫自知结怨太多，经常担心有人复仇杀他，为了防止刺客，出门就布置百余名步兵和骑兵，分左右两队，由负责京城治安的左、右金吾卫派武警人员驱赶街上行人静街。前行的人员在百余步外，公卿大臣必须回避。史书上说，唐朝时，宰相出行前呼后拥是从李林甫开始的。在他家里，进入他的住处要经过一道道门，每一道门都上着大锁，卧室里有复壁可以藏身；以石头铺地，墙中又安装木板隔开。李林甫日夜如临大敌，一夜间都换几个床，即便是家人都不知道他睡在哪里。
天宝八载（749年）四月，咸宁太守赵奉璋要向朝廷告发李林甫，他列举李林甫的罪状有二十多条；但是他的状文没有送到长安，有人已经告知李林甫。李林甫命御史把赵奉璋逮捕，说他散布妖言，把他乱棍打死。
过去姚崇、宋璟和张说为相时，玄宗年富力强，勤于政务，首辅宰相是在皇帝手下工作，而在李林甫漫长任期内，玄宗却一直在追求高居无为，所以李林甫对朝廷的支配，远比他的前任们全面而且有效。李林甫为相，导致安史之乱发生的一个直接原因，是朝廷在边将选任政策上的失误，这当然与李林甫固权保位有关，前文已经讲过。在边将常任久戍的同时，帝国精锐的军队都在边境地区戍守，由唐初重内轻外变为内轻外重，最终造成安禄山举兵作乱，两京沦陷，都是出于李林甫专宠固位之计谋而造成的直接后果。
多年的无为而治造成开元盛世，玄宗晚年觉得天下太平，可以高枕无忧了，所以深居宫禁，沉湎于声色，把朝廷政务委托李林甫；李林甫拉拢玄宗身边的人，通过他（她）们了解玄宗的心意，处处迎合玄宗，来保持玄宗对自己的恩宠；他杜绝言路，使玄宗偏听偏信，使他能够施展阴谋诡计；他妒贤嫉能，排斥那些才华声望超过自己的人，以巩固自己专权的地位；又屡起大狱，诛杀或流放朝廷中的高官贵人，扩大个人势力。除了玄宗，从皇太子以下，朝廷内外文武官员，都害怕他。史称李林甫在相位十九年，酿成天下大乱，也就是说安禄山心中那颗谋反的种子，就是在李林甫执政期间萌芽生长的。
李林甫专权的局面，直到杨国忠受到玄宗重用才受到限制，然而杨国忠祸国殃民，又不下于李林甫。杨国忠的作派，下文再论。但有一点必须说明，安禄山久蓄异志，却迟迟不发，据说有两个原因，一是感念玄宗对自己恩深如海，他曾设想等玄宗晏驾之后，再谋举兵；另一个原因是自己感到心计不及李林甫，李林甫为相，安禄山颇有畏惧之心。当李林甫死后，安禄山觉得朝中再无可惧之人，杨国忠无德无才，专权自恣，这叫安禄山很看不起，于是“始有轻中国之意”——谋反由只存于心的念头即想干发展到敢干、动手干了。