《汉书·外戚传》中记载，因为公元前91年的巫蛊之祸“卫氏悉灭”，但是这句话并不是说卫青家族被汉武帝杀光，而是指卫青家族和姻亲中的重要人物卫皇后卫子夫、卫太子刘据、诸邑公主、阳石公主、丞相公孙贺、卫伉等人被诬陷而死，卫氏在朝中的势力“悉灭”，并不是指卫家满门被杀。实际上卫青的子孙中只有长子卫伉死了，但是卫伉的子嗣以及卫青次子卫不疑与幼子卫登的家族并没有受牵连。

说实话将巫蛊之祸归咎于汉武帝对于卫氏的权势的忌惮挺没道理的，因为卫氏集团最强的时候是卫青、霍去病活着的时候，卫青是大司马大将军，霍去病是大司马骠骑将军，两人位在丞相之上，是皇帝之下汉朝的最高军政首脑，对内参决政事、掌握中枢，对外仗钺代替天子征伐四方，巫蛊之祸时卫氏集团的权势能跟这个相比么?巫蛊之祸最后会发生主要是因为两点，一是卫氏子弟倚仗权势违法乱纪之事做的太多引起汉武帝厌恶，二是卫青、霍去病死后无人能够维系和汉武帝的亲密关系，以至于被诬陷时没法辩驳。

卫青活着的时候虽然权势滔天，但一直是一个非常克制的人，对皇帝恭敬、对同僚尊敬、对下属爱护，从不依仗权势胡作非为，也能严格管束家人。卫青、霍去病死后，汉武帝对于卫氏家族的宠信依旧，比如卫青姐姐卫君孺的儿子公孙敬声年纪轻轻就直接升任九卿之一的太仆;霍去病的弟弟霍光任奉车都尉、光禄大夫等职位，侍奉汉武帝左右。这些都可见汉武帝对于卫青家族后辈的喜爱，但是爱之深责之切，期望越大失望越大。

卫氏家族的很多人仗着与皇后卫子夫、太子刘据的关系，仗着汉武帝的宠信、卫青的遗泽，仗势欺人、违法乱纪者甚多。比如非常为汉武帝喜爱的公孙敬声，骄纵奢侈不守法令，竟敢擅自挪用军费一千九百万钱，这么一大笔钱不是一天两天的事，堪称胆大包天。这些人的行为和卫青一对比，就更让汉武帝厌恶了。

而且随着霍去病早亡、卫青病逝、皇后卫子夫年老色衰、太子刘据与汉武帝性格不合，卫氏集团没有人能随时见到汉武帝，和汉武帝沟通，给了小人们构陷太子的机会。巫蛊之祸刚爆发的时候，卫子夫和太子刘据多次前往甘泉宫求见汉武帝，竟然能被汉武帝身边的太监拦住，连一个辩解的机会都没有，这对比当年卫青、霍去病随时面见汉武帝，甚至于留宿的待遇差太多了。

巫蛊之祸最终牵连甚广，卫氏在朝中的上层势力被一扫而空，除了江充等人栽赃陷害之外，还是卫氏族人做的不够好。空有卫青、霍去病打下的良好基础，却没有顶梁柱似的人物维持住和汉武帝的关系，反而不断挥霍皇帝的恩泽，给了觊觎太子之位的各方势力施展阴谋诡计的机会。