安徽庐州(今合肥)人。字省三。早年在籍办团练,对抗太平军。1862年(同治元年)随李鸿章至上海,在苏南、浙北屡与太平军作战,因功逐步升至总兵。所部称铭军,为淮军主力之一。1865年擢直隶提督,率兵在湖北、河南等地镇压捻军。1868年入陕,督办陕西军务,寻以病归籍。1880年(光绪六年)入京奏请兴办铁路,未被采纳。1884年受命以巡抚衔督办台湾军务,抗击法军入侵。次年台湾改设行省,为首任巡抚。任内建铁路,兴矿务,办学堂,致力开发台湾。1891年因病辞职,后死于籍。有《刘壮肃公奏议》等行世。