蔡京一生四度拜相、四次遭罢，全部发生在宋徽宗在位时期，四次罢官详情清晰分列如下：

第一次罢相：崇宁五年（1106年）二月

1102年蔡京初次拜相，推行新法、树立元祐党人碑，打压旧臣，朝野非议极多。当年出现彗星天象，古人视天变为朝政失德的警示，御史纷纷上书弹劾蔡京专权、苛政扰民。徽宗迫于舆论压力，将其罢免，贬为开府仪同三司、中太乙宫使，闲居京城，保留虚衔。

第二次罢相：大观三年（1109年）六月

大观元年（1107年）蔡京再次复相，大肆培植亲信，鼓吹“丰亨豫大”，怂恿徽宗大兴土木、挥霍国库。朝堂张商英、何执中等大臣联合台谏持续弹劾其结党营私、耗费民财。徽宗为平衡朝局，令蔡京致仕退休，仅保留修史闲职。

第三次罢相：宣和二年（1120年）六月

政和二年（1112年）蔡京三度掌权，一做八年，权势达到顶峰。彼时他已74岁，超官员致仕年限仍把持朝政；次子蔡绦仗势横行、欺压同僚，连长子蔡攸都与其水火不容，屡次向徽宗控诉其父弟恶行。朝野弹劾不断，徽宗无奈勒令蔡京辞官退居。

第四次罢相：宣和七年（1125年）四月

宣和六年（1124年）十二月，朝廷无人主事，78岁的蔡京再度被起用总领三省。他年老昏聩，政务全交由蔡绦处理，蔡绦愈发专横，蔡攸多次入宫激烈弹劾。徽宗不堪宗室、朝臣接连上奏，最终彻底罢免蔡京，不再复用。

蔡京最终死亡时间。宣和七年金兵南下，次年宋钦宗登基，将蔡京连续贬谪岭南。靖康元年（1126年）八月，蔡京流放途中于潭州（今长沙）病饿而死，终年79岁。