杨芝芳1905年生于陕西米脂杨家印村，15岁时由父母包办，嫁给了十几里外高家沟长她一岁的男子，他就是大名鼎鼎的高岗。杨芝芳和高岗生了两个孩子。 1926年，高岗投身革命。后来和刘志丹等一起开展武装暴动，创建革命根据地。1930年，高岗回到高家沟，杨芝芳跟着高岗参加革命，做过红军交通员。 1935年她加入中国共产党，担任过安定县女工被服厂厂长、延安妇女商店主任。

对于离婚，杨芝芳曾回忆说：“那时高岗已经是陕甘宁边区的领导，经常出席各种会议。我是家庭妇女，又是小脚，外边来了很多年轻的革命女同志，所以高岗提出要分开。记得是王子宜（陕甘宁边区政府民政厅厅长）跟我谈的。他说，高岗活动很多，经常出头露面，你是小脚，与高岗一起出面不太合适，最好与高岗分开。我就同意了。 ”

在战争年代，中共并没有领导干部携夫人一起出席活动的习惯。所以王子宜的理由更像是托词。外边来了很多年轻漂亮的革命女同志倒是离婚的主要动因。高岗离婚不久，便相中了徐州省立女子师范学校毕业的李力群。

李力群这样回忆：“我十七岁去延安，后进党校学习。有一天，高岗去党校讲党建课。我个子小，听课始终坐在前面，他可能在讲课时就看上了我。党校学习结束后，陈云就把我留在了陕甘宁边区委员会办公室秘书处。当时我很不情愿，我愿意去敌后，我觉得这里的人太土，但组织上的安排必须服从。不久，高岗就带我出差去了安塞，这次出差大约有三四天。出差回来后，毛主席请我们吃饭，是高岗带我们一起去的。毛主席请我们吃腊肉，席间毛主席说了许多高岗的好话，让我向高岗学习，而且说，你将来如果能找到这样的对象如何如何。我当时心里就一惊，因为那时候我见到高岗就害怕，他样子很凶，又是大首长，但毛主席的意思我已有所觉察。 ”

“又过了几天，王明、王若飞、习仲勋等人又请我和高岗吃饭，还请周围一些小姑娘吃枣，并说今天是结婚的日子。一听这话，我撒腿就跑，一直跑到延河边。但这时王若飞找到我说，你学过党建吗？党员要听党的话，这也是党的安排。他劝我回去，但我当时还是没回窑洞吃饭。就这样。我们没有任何感情，一天也没恋爱，就结婚了。结婚后，高岗半年内不准我下山，怕我见到同学们。后来，我曾对陈云说，是你们把我强配给他的。”