解放战争时，谢祥军先是在华中军区任职，担任过军分区司令员，华中军区被改编为华中野战军之后，谢祥军出任华中野战军第10纵队司令员。
10纵队刚刚成立没多久，国民党军队就集中大量兵力向10纵队阵地展开进攻。谢祥军率领部队迎战敌军进攻。在其他部队的配合下，10纵队和敌军浴血奋战，他们和主力部队一起歼灭敌军5万多人。
1946年10月，国民党军队五大主力之首的整编74师，在国民党其他部队的配合下，大举进犯苏中重镇涟水，谢祥军率10纵作为华中野战军主力，部署涟水保卫战。谢祥军本人亲率3个团的兵力，沿着顺河集，茭菱一带布置防御，打退了整编74师数次进攻。战斗持续到第15天时，敌军开始慢慢逼近十纵指挥部，防守于指挥部前线的10纵84团在团政委孙海光的带领下，直接冲上去，与敌军展开肉搏。
为了了解战场的实际情况，谢祥军来前沿阵地，手持望远镜观察敌情。突然，敌军的一名狙击手发现了他，认定他是高级指挥官，果断向其开枪。谢祥军被子弹击中腹部以后，迅速被送到后方医院救治，奈何伤势太重，无力回天，当天就牺牲了。时年32岁。
虽然我军最终取得了涟水保卫战的胜利，但是粟裕司令员却怎么也高兴不起来，培养一位纵队司令员实在是太不容易了。正所谓千军易得一将难求，纵队司令员都是在枪林弹雨、摸爬滚打中成长起来的优秀将领，损失了一个纵队司令员，让粟裕一直觉得涟水保卫战并不是很成功。
然而，在谢祥军牺牲后，组织上才给他开了追悼会，这意味着：他牺牲的消息被组织上保密了之久，这是为什么呢？原来谢祥军牺牲时，涟水保卫战还在继续，为了稳定军心，粟裕下令将此事严格保密，就地安葬，不开追悼会，动静越小越好。
最后，10纵官兵含泪将他安葬在了涟水附近的板桥，战后，解放军的报纸以及山东解放区的报纸都没有报道谢祥军牺牲的消息。在整个解放战争期间，谢祥军牺牲的消息，都是严格保密的，凡是知晓此事的人，都绝口不提此事。国民党军队甚至都不知道他们在战斗中，打死了共军的一位纵队司令员。自然没法把这件事大做文章。
1947年5月，国民党军队对山东解放区进行重点进攻，打头阵的就是国民党军整编74师，而我军负责和国民党军对垒的就是华东野战军。这次10纵碰上了自己的老对手整编74师，自然也是群情激奋，向华野总部积极请战，坚决要和整编74师一决雌雄。孟良崮战役时，就是10纵第一个冲上孟良崮的。经过3天的鏖战，整编74师被华野全歼，师长张灵甫在绝望中自戕而亡。
1959年，在牺牲之后，他的牺牲事迹才被组织公开，随后组织上为他举行了隆重的追悼会。如果他能活到授衔那天，以他的资历，至少是个少将，甚至可能是中将。
