事实上，李林甫当政期间，安禄山对他一直又敬又怕、甘拜下风。不要说让他起兵造反，就算让他跟李林甫过过招，恐怕他都没那个决心和胆量。如果没有后来杨国忠的擅权乱政，安禄山也不会那么快就狗急跳墙。
安禄山这个人，外表粗犷豪放，大大咧咧，其实内心细如针尖，既狡黠又阴险。从心机、城府和谋略上来说，满朝文武没有一个被安禄山放在眼里，唯独李林甫是个例外。说李林甫是安禄山的克星，恐怕也不算夸张。安禄山狡猾，李林甫比他更狡猾——“安禄山以李林甫狡猾逾己，故畏服之“。对付安禄山这种人，李林甫自然有他的手段。
每一次安禄山入朝，李林甫都会盛情邀请他到府上聚会，主宾之间经常就共同关心的话题互相交换意见，会谈总是在亲切友好的气氛中进行。可是，李林甫往往在主宾言谈甚欢的当口，冷不丁地冒出一两句话，一举道破安禄山心中某种隐秘的想法。
每当这种时候，安禄山脸上的表情总是颇堪玩味。他不得不承认，在李林甫面前，自己几乎就是个半透明体。以后，双方再进行亲切友好的会谈时，安禄山总是战战兢兢、如坐针毡，乃至大冬天里也会冷汗直冒。当然，作为一个热情而又体贴的主人，李林甫对客人的关怀一向是无微不至的。每当看见安禄山又不知何故暴汗不止了，李林甫总是会“抚以温言“，并且“自解披袍以覆之“。
不知道安禄山披上袍子后，是感到温暖还是感到更加寒冷，反正他的表情是受宠若惊和感激涕零。而且，披了一回袍子后，安禄山就不拿自己当外人了，不再称呼李林甫为“大人“，而是十分亲切地叫他“十郎“（李林甫排行第十）。
此后，每逢派手下入京办差，安禄山总会特地吩咐手下人一定要拜见十郎。手下回去后，他就忙不迭地问：“十郎都说什么了？“如果李林甫给了他几句鼓励的话，安禄山就会高兴得手舞足蹈；要是听到李林甫说：“告诉安大夫，一定要好自检点！“他就会吓得脸色苍白，口中喃喃自语：“完了完了，这回我死定了！“
李林甫当政的最后几年，就是以这种胡萝卜加大棒的手段，把安禄山收拾得服服帖帖的。基本上可以说，只要李林甫在相位上一天，安禄山就不敢轻举妄动。
但是到了天宝末年，一切都变了，李林甫独揽朝纲的时代一去不复返……