高俭，字士康，渤海修人。他的祖父高岳，是北齐神武帝高欢的堂弟，封请河王，官至左仆射、太尉。其父高励，北齐乐安王，也曾任左仆射。北齐之后入周，不知何故竟没被周武帝与齐后主高纬一起杀掉。南朝取代北周后，他还任过隋朝的洮州等四州刺史。史载，高士廉“少有器局，颇涉文史”，与大文豪薛道衡等人结为忘年之交，为一时才俊。

隋炀帝大业年间，高士廉的妹妹嫁给了右骁卫将军长孙晟，生子长孙无忌和一个女儿。长孙晟死后，他把妹妹接回了自己的家里，并且还厚待她们。当时他发现年轻的贵族子弟李世民异于常人时，就把自己的外甥女嫁给了他，这位长孙氏就是后来的文德皇后。

隋炀帝时，由于他和兵部尚书关系不错，而且两人之间关系密切，隋廷把他流放至交趾。萧铣称帝时，交趾太守丘和附梁，高士廉也随之降梁。萧铣被唐朝平灭后，高祖李渊因亲戚关系，命高土廉巡按岭南诸州。后来他升迁为雍州治中，而他的外甥女婿李世民当时任职于雍州牧。

“玄武门之变”，他自己还亲率吏辛从监牢里释放囚犯，授以兵甲，用他们来组成临时的部队以此来援助李世民。

贞观元年，他被提升为侍中。贞观十二年，以其佐命之功授中国公，拜尚书右仆射。

高士廉为人谨慎镇密，那些表奏皇帝的草稿都被他给毁掉了，不使左右知晓。贞观二十一年，病死，时年72岁。

当时，太宗刚刚饮服“药石”(类似“五石散”的东西，当时认为既“壮阳”又“保健”，实际上是毒性很大的东西。多位贵族、皇帝因之而死)，闻讯马上整装要亲临看视。

长孙无忌见了，急忙跳下马来，在半路跪伏迎接，痛哭陈说高士廉临终前切言皇上不要亲临，加之“饵石临丧'是医家大忌，劝了很久才把这个药性正发作的皇帝给劝了回去。

高士廉死后，唐廷赠司徒，陪葬昭陵，谥日文献。

高士廉一家三代仆射(宰相)，儿子为尚书，驸马，外甥为太尉，外甥女为皇后，一时无两。

当时那些北齐皇族中，比起他那些年不过四十就暴死的高家堂叔，堂兄弟们，高士廉一支可谓是下场最好的。就算是后来长孙无忌因为犯事而被诛，其子高履行也仅仅受牵连贬官而已。