唐玄宗刚刚返回长安城，就已经七十五岁了，就算他想要插手政事，也是无能为力。于是战争结束后，唐玄宗便按照自己的意愿，住进了曾经是临淄王爷的兴庆宫。武惠妃已经不在了，杨玉环也已经死了，身边却多了一个高力士坐镇。有高力士在，唐玄宗起码还有个伴，这时，唐玄宗闲极无聊，便到了“城头看天下风光”的地方。

唐玄宗虽已退位许久，但其威望仍然极高，尤其是从开元开始，便建立起了广泛的关系网。路人们好不容易有机会一睹“皇颜”，一个个兴奋不已，纷纷跪倒在地，高呼着“吾皇万岁”。唐玄宗见状，也不能什么都不说，便命人送上一些美酒佳肴作为奖赏。结果这件事越演越烈，唐肃宗得知这件事之后，就对他的唐玄宗严加监控。

可唐玄宗不但没有节制，甚至还做出了更过分的事情，甚至还在宴会上邀请了禁卫军大统领郭英义。这一次，唐肃宗再也忍不住了。在唐肃宗看来，这就是唐玄宗重新执掌大权的征兆。唐玄宗早期的两次政变，一次是推翻韦皇后，一次是推翻了平昌公主，这两次都是御林军起到了关键作用。

利用禁卫军来达到自己的目的，也是唐玄宗的拿手好戏，所以唐肃宗李亨不敢赌，李辅国这个“贼臣”，带着五百名全副武装的铁骑，去见唐玄宗，李辅国因为高力士的无礼，对他怀恨在心，所以才会陷害高力士，说他“事君不忠”，将他贬为庶人，革职发配到巫州去。

此后，唐玄宗便一蹶不振，在皇宫中度过了数年的生活。在一片寂静中，这位大唐曾经的“第一领袖”，已经七十八岁了，后来唐肃宗颁布了赦免令，高力士返回了都城，只不过这一次他和唐玄宗已经是天人永隔，也正因如此，高力士对于唐玄宗的忠诚才被后人津津乐道。