1947年11月石家庄解放后，孙连仲的部队被华北军区野战军部队歼灭殆尽，成了名副其实的光杆战区司令。11月26日，蒋介石飞北平视察，在与孙连仲共进午餐时突然问：半年前你向陈诚说过调整军事的意见吗？孙回答：是啊。蒋介石问：那么你呢？孙连仲明白蒋介石已有撤换他的意思，于是说：我没有关系，我本来就不想干。

第二天，蒋介石召开军事会议，宣布统一华北军事指挥机构，调傅作义为华北“剿匪”总司令。傅作义站起来向蒋介石报告：主席希望我怎样做，我就怎样做，但我的才德资望实不能担任华北重任。蒋介石答应再考虑。当晚，傅作义跑到孙连仲家中，要求孙连仲继续干省主席一职，孙说：我不能干！傅作义急得直跳脚，说：这么大的局面交给我怎么可以？孙仍坚持不干。

1947年11月30日，国民政府命令傅作义为华北“剿匪”总司令。傅将战略重心从察绥转到了华北，将嫡系主力35军、暂3军、骑四师、骑12旅全部调到河北，连同华北的国军编成3个机动兵团，以李文34集团军组成平汉兵团，傅系各军为平绥兵团，侯镜如指挥92军、62军为津浦兵团，与华北野战军进行决战。

蒋介石给孙连仲两个选择：一是任参军长，一是任首都卫戍总司令。孙连仲对李宗仁说：参军长连个传令兵都没有，我还是作首都卫戍总司令吧！起码还能带一个特务营。1947年2月1日，孙连仲在南京就任首都卫戍总司令。不到8个月，孙连仲又被特派为总统府参军长一职，他的一个营的部队全部交给了蒋介石的嫡系。参军长的职责说起来是承蒋介石之命，办理有关军事事宜，其实上就是一个闲差。孙连仲每日与蒋介石共进午餐。当时的战局不妙，蒋介石的心情不好，孙连仲只好常给蒋介石说笑话，逗其开心解闷。

1949年3月，孙连仲改调总统府战略顾问，挈眷赴台湾。晚年的孙上将，生活不甚如意，曾经到了想吸烟却无钱去买的境况。蒋介石去世时，孙连仲得悉消息，什么话也没有说，只是神情黯然地拍了拍巴掌。1990年8月14日，孙连仲因患肝癌病逝于台北市中心诊所，享年98岁。