幼丧父，家贫穷。遇见人争斗，见义勇为，问其姓名，不说而走。1911年入同盟会，与赵魏等谋光复青州，魏遇害，遂去烟台。当时烟台已宣布独立，革命党有不少人参加政府，李克俭告诉他们说：“革命党以不怕死、不爱钱、不要官为宗旨，不能争权夺利。”1913年，讨袁军兴起，同乡革命党人李日秋、赵文庆先后被敌人抓获处死。斟灌庄是革命党人出没的地方，敌人经常来此侦察。李克俭看见敌侦探走来，敌先问：“干什么的？”他回答说：“欲觅革命党，可问我。”敌探见其褴楼朴野，认为是乞丐图谋求赏者，竟不怀疑，到其家，克俭乘其不备，将敌探擒获。大声对敌人说：“满人吾仇也，汉族祖宗，多被屠戮，革命党乃杀满人报汉仇，尔汉族乃为虎作伥耶？”告之说：“不速走，将杀尔。”敌侦探被释放，星夜去青岛。1914年，与吕子人赴大连，参加中华革命军。1916年，任革命军东北军第三支队运输队长，由大连运枪械。同行者有慈德政、王镇海等。烟台海关，从慈德政身上查获手枪，于是同时被捕。李克俭自认不讳，被敌人杀害。