孙连仲，字仿鲁，河北省雄县人，幼年时家庭较富裕。孙上过几年私塾，可是他对读书没有多大兴趣，经常逃学，而最好摆弄牲口，或赶赶大车。以后长得身材高大，膀阔腰圆，颇为强壮。清朝末年，政府一再扩练新军，在北方各地不断招兵。孙连仲觉得吃粮当兵是他比较合适的出路，所以就投入第二十镇当了兵。那时冯玉祥在第二十镇当管带，对于孙连仲这样一个个子大，身体壮，又能识几个字的新兵相当喜爱。

辛亥年间，冯玉祥曾和同时当管带的王金铭、施从云等在滦州起义。因为发动较早，没有和别处的革命力量配合上，在孤军奋战的情况下，起义失败了。到了清政府被推倒，袁世凯当总统后，冯玉祥被袁的执法营务处处长陆建章委为备补军第二营营长，孙连仲就到冯的备补营里当头班长。1913年冯玉祥的备补营扩编为备补团，1914年扩编为第七师第十四步兵旅，同年又改编为第十六混成旅，孙连仲也眼着升充司务长和排长。以后第十六混成旅成立了炮兵团，孙连仲由炮兵团的排长逐步升为连长和营长。据说在孙当营长时，第十六混成旅的13个营长结拜为盟兄弟，以后人们就把这13个人称为冯玉祥的十三太保。

1921年第十六混成旅扩编为第十一师。接着冯玉祥任陕西督军，1922年任河南督军，孙连仲仍在他的炮兵团里担任营长。同年10月冯玉祥调任陆军检阅使，移驻北京一带。将所部扩编为一个师和三个混成旅，孙连仲被提升为第十一师炮兵团团长。1924年冯玉祥发动北京政变前，提升孙连仲为卫队旅旅长。北京政变后，段祺瑞政府调冯为西北边防督办，冯的队伍又有较大的扩张。不久苏联赠给冯玉祥一部分野炮，编成了一个炮兵旅，冯又调孙连仲为炮兵旅旅长，并兼任炮机教导团团长。1925年冯军对奉军李景林、阚朝玺部作战时，孙连仲任骑兵第二师师长，随宋哲元进占热河。以后奉、直、晋联合对冯玉祥作战，孙连仲在察哈尔北部指挥作战。在这次战役失败后，孙被调为第十二师师长。

1926年9月。冯玉祥在五原誓师，宣布全体官兵加入国民党，参加国民革命，把所部改称国民军联军，并确定了固甘援陕，联晋图豫的作战方针。孙连仲奉命率第十二师参加援陕战役，与孙良诚、刘汝明、马鸿逵、方振武等部协力作战，打败了刘镇华的镇嵩军，解了西安之围。1927年4月孙部担负南路作战任务，经商州、龙驹寨、荆紫关，进出内乡、淅川一带。1927年6月l日国民革命军第二集团军与南方的国民革命军在河南郑州会师后，孙连仲部奉命渡过黄河，沿京汉铁路向奉军进攻。这时孙已升为国民革命军第二集团军的第二方面军总指挥。当孙部进至安阳一带时，张学良曾亲自指挥奉军精锐部队大举反攻，孙连仲率部顽强抵抗，终于将反攻的奉军打退，受到冯玉祥的嘉奖。

1928年夏天，陕西的杨虎城、李虎臣等部乘冯军后方空虚之际，突然占据潼关一带，称兵反冯。孙连仲奉命率所部回军援陕、在潼关附近击溃了"二虎"的部队。以后甘肃爆发了反冯变乱，孙连仲又率部到甘肃镇压。冯玉祥为了奖赏孙连仲，特把甘肃省原甘边宁海镇守使的辖区划为青海省，任孙为这个新省的主席，那时孙才30多岁。孙在冯玉祥的麾下，可以说是一帆风顺。原因是他身体强壮，精神活泼，体操和马术都很好，待人也比较和气，而且又服从指挥，所以成了冯玉祥最喜爱的将领之一。