仁宗即位，刘太后听政。
刘太后想重用曾对她很好的张旻为枢密使。
这位张大人，在太后年轻时候不得不离开襄王府后，曾将她安置在自己家并以王妃待遇对他的那位大人。
晏殊却上书反对重用此人，认为此人无大功于社稷，升职加薪，恐令天下人不服。
当时，刘太后虽然对他的上奏有所不满，但并没有说什么。
直到晏殊随从太后、天子前往玉清昭应宫举行典礼，他的仆从送笏板来得很晚。晏殊接过笏板后怒火大发，动手殴打这名仆人，下手极重，把仆人的牙齿都打断了。
这种行为属于非常严重的殿前失仪，于是晏殊被御史弹劾，刘太后趁机将晏殊贬至应天府。
晏殊到了地方上后，大力兴办书院，聘请范仲淹讲学，重振地方文教，史称“五代以来天下学校废，兴学自殊始”。
倒是成就了一番美名。