1927年夏国民党反共后，刘志丹转入地下活动，秘密动员西北军一部于1928年5月在渭华发动起义，建立工农革命军，他担任了起义的军事委员会主席。6月间，西北军主力向渭河一带反扑，起义军被打散。刘志丹潜回陕北家乡任特委军委书记，并打入当地驻军和民团进行兵运活动，于1931年秋在南梁一带建立了最初的根据地。翌年初，他又将所部改编为红军陕甘游击队，年底正式建立红二十六军（兵力仅一个团）。

1933年5月，红二十六军南下三原时失败，刘志丹突围后又返回陕甘边区的照金根据地，发动群众开展游击战。至1935年春，陕甘红军发展到5000余人，占领了六座县城，并在二十多个县内建立了根据地政权。此时，南方苏区已相继失败，各主力红军被迫长征，陕甘苏区虽然人口不多且十分贫瘠，却成为全国硕果仅存的革命根据地。由于保存下这块革命的落脚点，红二十五军和红一、二、四方面军都长征到达这里，党中央也最终把大本营放在陕北。

1935年8月，徐海东等率红二十五军到达陕甘，与当地红二十六、红二十七军合编为红十五军团，刘志丹任副军团长兼参谋长。在10月初错误的肃反中，刘志丹被捕。随后，中央红军到达，11月初将刘志丹释放出来，并任命他为新成立的红二十八军的军长。1936年春，红军东征山西攻打中阳县三交镇时，他亲临前沿观察。敌晋绥军阵地上有一挺机枪正猛烈扫射，刘志丹探出上身用手指着说，要把它缴下来向陕北苏区献礼。不幸，那挺机枪射来的子弹打中了刘志丹左胸，他昏倒后被抬下，清醒过来只说了一句要宋政委（即宋任穷）指挥部队，便停止了呼吸，年仅33岁。

但他经历了那么多的艰辛和曲折，进行了那么多惊心动魄的斗争，建立了那么多的功勋。毛泽东同志称他是：“群众领袖，民族英雄”，周恩来同志题诗说：“上下五千年，英雄万万千，人民的英雄，要数刘志丹。”朱德同志称他是“红军模范”。从以上资料足够看出他为革命事业所做的贡献，，他跟其他的元帅都有相同的经历他有勇有谋，可惜英年早逝，他如果能活到新中国成立，我敢说绝对是个元帅。

后来，毛主席在一次大会上动情地说：“一个人死了开追悼会，群众的反映怎样，这就是衡量的一个标准。有些人高高在上，官位很大，称首长，好像老百姓都拥护他，其实这不能说明问题，要看最后的盖棺论定，要看开追悼会那一天老百姓落不落泪。真正的群众领袖，到开追悼会那一天，老百姓会觉得他死了很可惜。刘志丹牺牲后，陕北的老百姓伤心得很，这说明他是真正的群众领袖。