段志玄，齐州临淄人。其父段偃师为太原书佐，从高祖李渊起义，官至郢州刺史。段志玄自少就和李世民关系相当亲密。在潼关与刘文静协同抵拒隋将屈突通时（此人日后也成为凌烟阁上二十四功臣之一），刘义静被屈突通大将桑显和击溃，关键时刻，段志玄率二十骑飞奔进击，杀数十人而还。当时他脚上中了一中流箭，怕属下知道自己受伤，摇功军心，就忍痛不言，多次往返冲入敌阵。桑显和军大乱，唐军趁机复振，最终大败隋军。
不久，段志玄跟随李世民讨伐王世充，他冲入敌阵时马倒被俘，为两个兵将挟持着，一人抓住他的一边头发骑马拖着将过洛水，“志玄踊身而奋”，努力一挣，两个敌将落入水中，他乘机夺马驰还，后面追者有百余骑，都不敢近逼，最终安全回营。
而后，太子李建成以金银财宝贿赂他，段志玄都告知给秦王李世民，并在玄武门之变中参加战斗。
太宗继位，封樊国公。文德皇后丧礼期间，段志玄与宇文士及分统兵马出章肃门，太宗在夜间派宫使至二将军处，宇文士及马上开门迎纳使者，段志玄闭门不纳，说：“军门不可夜开。”宫使说：“有皇帝手敕。”志玄说：“夜中不辩真伪。”竟让皇帝宫使等到天明才放进。太宗闻后赞叹：“真将军也。周亚夫也比不了呵。”贞观十六年病死，赠辅国将军，谥曰忠壮，陪葬昭陵。