贞观十二年(638年)，高士廉同长孙无忌等人由于辅佐登基的功劳，一起世袭刺史，封申国公。不久，任尚书右仆射，正式拜相。官职待遇日益提高后，他写了很多奏折，禀奏完毕后就烧掉了，别人不知道具体内容。代理太子少师，唐太宗特地委任他主管选用官吏的事。 贞观十六年(642年)，授予开府仪同三司的头衔。不久因年老上表请求致仕，唐太宗同意免去了尚书右仆射官职，命令他以开府仪同三司的身份仍旧代行中书门下职务。又令其与魏征等人招集博学的文士，编写《文思博要》一千二百卷，书成上奏后，太宗赏赐给高士廉绢帛千段。贞观十七年(643年)二月，唐太宗诏令绘制高士廉的肖像陈列在专为表彰功臣建造的凌烟阁上，是为凌烟阁二十四功臣之一。
