不幸的是，镇远号在进入威海港时不慎触礁受伤，以至无法出海作战，这也让姊妹舰定远的威力大减，镇远管带林泰曾为此自责过度，心情忧愤，竟自杀身亡。1895年1月后，日军于山东荣成湾登陆，从陆路包抄威海卫，并相继攻下外围炮台。
在陆军助攻下，日本舰队列队向北洋水师发起进攻，双方展开了猛烈的炮战。由于强攻无效，日军夜间用鱼雷艇偷袭，旗舰定远、来远相继被击中，而己方的鱼雷艇队趁着出击的时机外逃，北洋水师一时阵脚大乱。之后，靖远号又在炮战中被击沉，管带叶祖跬拒不离舰，船上水手拼死将之救出。
由于援军迟迟不来，丁汝昌和刘步蟾下令将受伤搁浅的定远、镇远两艘巨舰炸毁。在座船被炸毁后，定远管带刘步蟾于极度悲愤中生吞鸦片后自杀身亡。这时，一些贪生怕死的洋员劝丁汝昌投降，但被拒绝。丁汝昌令各管带同时沉船，诸将不应。丁汝昌提议与其坐以待毙，不如奋力突围，以求冲出几艘军舰，同样无人响应。最后，万念俱灰之下的丁汝昌生服鸦片自杀。同晚，镇远继任管带杨永霖和护军统领张文宣也先后自尽殉国。
丁汝昌死后，镇远、济远等十舰降下大清龙旗，被收归日本舰队。事后，日本舰队司令伊东祐亭将练习船康济舰交还，用以载运丁汝昌、刘步蟾等人的灵柩。1895年2月17日午后，康济舰升火起航，剩下的千余名海陆兵勇，伴着六名殉国将领的灵柩，在痛苦的汽笛声中黯然离开威海卫，向烟台驶去。至此，曾经世界排名第八的北洋水师，全军覆灭
