江西瑞金武阳凌田村人。生于1914年，1933年年仅19岁的他在家乡参加了中国工农红军，同年加入中国共产主义青年团。1934年转入中国共产党。

土地革命战争时期，任红九军团第三师九团技术书记、连政治指导员，参加了举世闻名的二万五千里长征。

抗日战争时期，任军委警卫营特派员。总政治部锄奸部干事，八路军留守兵团警备第一旅政治部锄奸科科长，后调任教导大队政治委员。

解放战争时期，任热辽纵队二十二旅六十五团政治委员，旅政治部主任，东北民主联军第八纵队二十三师副政治委员、政治委员，第四野战军四十五军一三四师师政治委员。

中华人民共和国成立后，任中国人民解放军军政治部主任。1950年6月，朝鲜战争爆发，中共中央作出了抗美援朝、保家卫国的战略决策，组成中国人民志愿军赴朝作战，谢家祥被任命为中国人民志愿军军副政治委员、政治委员。

回国后，任成都军区副政治委员、第四政治委员，福州军区顾问。1955年被授予少将军衔。是中国人民政治协商会议第五届全国委员会委员，中国共产党第九、十届中央委员。