唐俭，并州晋阳人。其父唐鉴与李渊就是老朋友。起事之初，唐俭就极力赞成。
武德元年，升为中书侍郎。唐初之时，天下割据政权还有不少，唐俭与永安王李孝基等人一起被刘武周俘获。李渊正妻元贞皇后的侄子独孤怀恩当时兵据蒲州附近，先前就与其属下元君实想反叛李渊自立。刘武周大军忽至，元君实也被抓住，和唐俭关押在一起，私下对唐俭抱怨：“独孤尚书如果早掌事，今天被俘之事也不会发生。”
独孤怀恩趁乱从刘武周乱军中跑出，李渊还不知他先前曾想谋反，仍让他驻守蒲州附近。唐俭虽身陷贼营，仍对唐朝忠心耿耿，派亲信跑出告发独孤怀恩之谋。
当时坚守蒲州的隋将王行本以蒲州城降唐，高祖已乘船准备亲往蒲州与独孤怀恩相会，一起入州受降。船行到中路，唐俭密奏送达，高祖大惊：“真是天命啊！”忙下命返航，派人抓捕独孤怀恩按验，怀恩畏惧自杀上吊而死。如果没有唐俭，李渊很可能以皇帝之尊被怀恩劫持，唐室必亡。
李世民击破刘武周后，唐俭还朝，拜礼部尚书，授天策府长史，封莒国公，朝廷把抄没独孤怀恩的全部财产赐给唐俭。
贞观初年，太宗一面派唐俭为使说降匈奴，一面派李靖进军。大将李靖倒不在乎唐俭的性命，也不顾唐俭作为使者正在匈奴处，奇袭突厥，生擒颉利可汗。唐俭命大，竟趁乱脱身。回朝后，授民部尚书。
后来，一次他随太宗打猎。李世民神勇如初，发四箭连杀四只大野猪，有只大公猪张着獠牙直冲御马，已至马镫，唐俭滚身下马上前搏击，太宗从容拔剑，斩杀野猪，笑对唐俭说：“天策长史，你没见过我当上将时击贼的样子吗，干吗这样害怕？”
唐俭回答：“汉祖以马上得天下，不以马上治天下。陛下以神武定四方，岂复逞雄心于一兽。”太宗纳谏，为之罢猎而归。
高宗显庆元年（公元656年），唐俭卒于家，年七十八，谥曰襄，陪葬昭陵。