在李林甫任期内，李隆基越来越关心自己的家事，日益沉溺于道教和密宗佛教中，逐渐不再起积极的政治作用。在这种情况下，身为首辅的李林甫对朝廷的支配远比他的几个前任更加深入和全面，从736年起至752年李林甫死亡时止，朝政基本处于李林甫的“独裁“阶段。之前，姚崇、宋璟和张说当宰相时，刚刚登上帝位的李隆基正处于人生最美好的阶段，首辅宰相是在一个积极参与政务的皇帝手下工作。
李林甫的行政改革使帝国政府的运转比以往更加顺利和有效，政权是繁荣的，对外连续取得辉煌的胜利。此外，他没有在官僚集团内进行任何清洗。贵族们取得了稳固的权力，官僚中的儒家学者被精心地排斥而不能担任任何有真正权势的职位。到了天宝中后期，由于权宠过盛，树敌太多，李林甫的儿子李岫经常有一些不祥的预感。有一次，父子俩在后花园散步，李岫指着那些正在埋头修葺亭台楼阁的工匠杂役，忧心忡忡地对李林甫说：“父亲大人，您久掌大权，怨仇满天下，倘若哪天灾祸降临，恐怕连做一个像他们这样的杂役都不可得了。“李林甫当即面露不悦之色，说：“势已如此，将若之何？“此时的李林甫绝对不会想到，儿子李岫的这句话竟然会一语成谶。
因为结怨太多，李林甫总担心有刺客暗杀他。于是，白天出行总要带上一百多名步骑兵，分左右两翼护卫，而且命令巡防京城的金吾卫提前开道，数百步外的前行卫队所到之处，就算公卿百官也要赶紧回避，更不要说普通百姓。
由于经常处于警觉状态，李林甫不仅白天紧张兮兮，连夜里也总是无心睡眠。
晚上，李林甫的府邸四周总是岗哨林立，而且宅邸中到处设有重门复壁和暗道机关。每天夜里，李林甫都要换好几个地方睡觉，以至连他的妻妾子女都不知道他在什么地方。换言之，李林甫晚上的大部分时间都不是在睡觉，而是在换床，频繁地换床。
自大唐开国以来，许多有能力的朝臣都是先外放为边帅，取得战功后再入朝为相的，玄宗一朝尤其如此。李林甫开始很早就意识到，如果不封死这条“出将入相“的通道，自己就很难长久把持朝政。为了应对权力集团内部的党派斗争，稳固自己的执政地位，李林甫开始对朝廷高层进行组织机构改革。