贞观七年（公元633年）三月十三日，代王珪为侍中。尚书省很多陈年旧案积压无法决断，魏徵虽未学律法，但却能抓本质以情处断，人人心悦诚服。贞观八年（公元634年），太宗想要分派大臣为诸道黜陟大使，没有得到合适人选。李靖推荐魏徵，太宗称魏徵针砭规劝朕的过失，一天也不能离开身边。便另派李靖与太常寺卿萧等共十三人分别巡行全国各地。 贞观十年（公元636年）正月，梁、陈、北齐、北周和隋五部史书编修完成，历时8年。魏徵为总编修，多所损益，荐在简正。其中《隋书》由他主要负责，《隋书》的序论及《梁书》《陈书》《齐书》的总论皆出其手，时称“良史”。唐太宗十分欣喜对各级别进行嘉奖，魏徵以总监之功，赏赐特丰，加左光禄大夫，进封郑国公，赐物二千段。 魏徵自认无功于国，只是凭借辩说便参与朝政帷幄，自觉惭愧，便以眼睛有疾病请辞官职。太宗不允，自比金矿需要魏徵这样的良匠劝解他继续辅佐。
