1926年，李谦任国民革命军第6军19师任营长，参加了北伐战争中攻克南昌、南京的战役。因战功卓著，1927年4月升任第6军19师2团团长。不久，赴日本陆军士官学校学习。

　　1929年5月，李谦回国。12月参与组织百色起义，任中共前敌委员会委员，中国工农红军第7军1纵队司令员，参加创建右江苏区。1930年11月，任红7军20师师长。在敌人大军“围剿”之下，李谦率部转战湘粤边界地区，时而奔袭，时而固守，时而杀回马枪，攻城略地，出奇制胜。他身先士卒、驰骋沙场、英勇善战、屡建殊功，使红20师越战越强，成为红7军中一支能征善战的主力部队。

　　1931年1月部队进行缩编，李谦任红7军58团1营营长。2月3日部队在粤北乳源梅花村被国民党军包围，他指挥部队英勇反击，连续打退敌人的8次进攻。后亲率一个排追击逃敌，战斗中壮烈牺牲，年仅22岁。