隋唐交替那会儿尚书令确实是权重势隆，譬如杨坚曾授予杨广、杨俊、杨秀诸皇子为行台尚书令；杨广践祚后拜勋臣杨素为尚书令；李渊、王世充挟天子以令诸侯的时候都自封尚书令；割据南方的萧铣任命张绣为尚书令，委以机务，可张绣恃功骄恣，专权自擅，最终被萧铣诛杀。

什么时候尚书令的权力被削弱呢？是在李世民上位之后。李世民将尚书令一职空悬不授，“由是仆射为尚书省长官，与侍中、中书令号为宰相”（尚书令为正二品，左、右仆射均为从二品）。但不久李世民又“敕尚书省，细碎务皆付左右丞，惟冤滞大事合闻奏者，关于仆射”。

与此同时，李世民开始着力扶植中书省、门下省。从贞观初起，他就要求“京官五品以上更宿中书内省”，然后实行集体宰相制度以分散相权。凡军国大事，要由6名中书舍人“各执所见，杂署其名”，这就叫作“五花判事”。诏敕草拟既成，经中书侍郎、中书令审覆，再移送门下省，由给事中、黄门侍郎封驳驳正，复奏以后，再付外施行。