河南新县人。少年时给武术师傅当杂役,后到少林寺学习武术。1926年8月,在武汉国民革命军第一师第一团任连长,同年9月参加中国共产主义青年团。1927年8月,转为中国共产党党员。同年11月参加黄麻起义。第二次国内革命战争时期,历任班长、排长、营长、团长、副军长兼师长、军长、红四方面军骑兵司令等职,参加了鄂豫皖苏区、川陕苏区的反“围剿”和长征。抗日战争爆发后,出师太行山。1938年10月任一二九师三八六旅副旅长。1940年9月起,任山东纵队第三旅旅长、山东纵队参谋长、胶东军区司令员等职。第三次国内革命战争时期,历任华东野战军第九纵队司令员,东线兵团(后称山东兵团)司令员,山东军区副司令员、司令员、党委书记,中共中央山东分局委员。率部参加了莱芜、孟良崮、济南等著名战役。建国后,曾任中国人民志愿军第三兵团司令员、华东军区第二副司令员、解放军副总参谋长、南京军区司令员、国防部副部长、中共中央华东局书记、中共江苏省委第一书记、广州军区司令员,中共中央军委委员、常务委员等职。1955年被授予上将军衔。在党的第八次全国代表大会上当选中央候补委员,在党的第九届、第十届、第十一届一中全会上当选中央政治局委员。党的十二大当选中央顾问委员会副主任。1985年10月22日在北京病逝。