他少年时就聪颖好学，“有干略”。1868年，他怀着救国的志愿，以各门课程考核皆优的成绩入福州船政学堂学习航海，成为该学堂驾驶班第一届毕业生。他在福州船政学堂毕业后，1871年被派到“建威”练船，随船巡历南洋各岛。1874年被任命为“琛海”兵船大副，以后历任“海东云”、“振威”、“飞霆”等兵船管带。1879年，李鸿章筹办北洋海军，他被调到北洋海军，任“镇南”炮船的管带。1880年，任刚从英国购进的“扬威”舰管带。1882年，他因护送广东水师提督吴长庆所部赴朝有功，被清廷授以勃勇巴图鲁勇号。1887年，他以参将衔被派往英国接收“致远”等四艘新购巡洋舰，回国后升副将兼“致远”舰管带，次年擢总兵加提督衔，又补为北洋海军中军中营副将。1894年，李鸿章检阅北洋海军，见他“训练得力”，乃奏准为他赏换噶尔萨巴图鲁勇号。他在海军中，常以古人的将身许国为职志，为创建中国近代海军付出了巨大的心血。1894年7月，中日甲午战争爆发，在日本对中国海军发动突然袭击的丰岛
海战中，他曾积极要求驾舰出动打击侵略者，但被丁汝昌阻止。9月17日，中日两国海军主力在黄海相遇，他在此次海战中表现最为勇猛突出。海战一开始，他指挥着自己的战舰“致远”号在海上纵横驰骋，猛打猛冲。当我方旗舰“定远”号桅杆被打断，丁汝昌受伤的时刻，他不怕吸引敌人火力，立即在自己舰上竖起帅旗，从而稳定了军心。“致远”舰在激战中已有多处受伤，特别是连续受到敌舰重炮的打击，舰身倾斜，势将沉没，况且此刻弹药将尽，但全舰在他的率领下仍然拼死决战。当他看到敌舰吉野号横行无忌，早就义愤填膺，准备与之同归于尽，以保证全军的胜利。然而当“致远”全速撞向敌舰时，不幸被敌施放的鱼雷击中，舰身破裂，沉没于黄海中。全舰官兵大部分壮烈殉国。就在军舰即将完全沉没的时候，他还大呼杀敌不绝。他坠海后，曾一度被随从救出，但他看到全舰沉没的惨状后，慷慨地说：“事已至此，义不独生！”言毕投向大海，沉没在汹涌的波涛之中。他殉难后，清政府颁布上谕嘉奖，并追赠太子少保衔，予谥“壮节”。甲午战后，山东人民感怀他的献身精神，特为他在成山角之巅塑像建祠，激励着后人。