高俭，字士廉，渤海修人。其祖父高岳是北齐神武帝高欢的堂弟，封清河王，官至左仆射、太尉。其父高励，北齐乐安王，也曾任左仆射。北齐之后入周，不知何故竟没被周武帝与齐后主高纬一起杀掉。隋朝取代北周后还任过隋朝的洮州等四州刺史。史载，高士廉“少有器局，颇涉文史”，与大文豪薛道衡等人结为忘年之交，为一时才俊。
隋炀帝大业年间，高士廉的妹妹嫁给右骁卫将军长孙晟，生子长孙无忌和一个女儿。长孙晟死后，高士廉把妹妹接回自己家中，并非常厚待自己的外甥和外甥女。当时他发现年青的贵族子弟李世民异于常人，就把外甥女嫁给他，这位长孙氏就是后来的文德皇后。隋炀帝时，由于和高世廉逃亡到高丽的兵部尚书斛斯政关系密切，隋廷把他流放至交趾。萧铣称帝时，交趾太守丘和附梁，高士廉也随之降梁。萧铣被唐朝平灭后，高祖李渊因亲戚关系，命高士廉巡按岭南诸州。后来他升迁为雍州治中，而当时他的外甥女婿李世民为雍州牧。
“玄武门之变”，高士廉与外甥长孙无忌并预密谋，他自己还亲率吏卒从监牢里释放囚犯，授以兵甲，组成临时的部队驰援李世民。贞观元年，提升为侍中。贞观十二年，以其佐命之功授申国公，拜尚书右仆射。
高士廉为人谨慎缜密，表奏皇帝的草稿一概焚毁，不使左右知晓。贞观二十一年病死，时年七十二。
当时太宗刚刚饮服“药石”（类似“五石散”的东西，当时认为既“壮阳”又“保健”，实际上是毒性很大的东西。多位贵族、皇帝因之而死），闻讯马上整装要亲临看视。高士廉的外甥长孙无忌急忙策马跪伏于半路迎接，痛哭陈说高士廉临终前切言皇上不要亲临，加之“饵石临丧”是医家大忌，劝了半天才把药性正发作的太宗皇帝劝回宫去。赠司徒，陪葬昭陵，谥曰文献。
高士廉一家三代仆射（宰相），子为尚书、驸马，外甥为太尉，外甥女为皇后，一时无两。想想北齐皇族中他那些年不过四十就暴死的高家堂叔、堂兄弟们，高士廉一枝可谓是下场最好的。即使日后长孙无忌被诛，其子高履行也仅仅受牵连贬官而已。