1921年8月，廖乾五经早期共产党人包惠僧、李汉俊介绍，同施洋等人参加武汉马克思学说研究会，1922年加入中国共产党。

　　廖乾五早年曾参加反对袁世凯复辟帝制和反对以段祺瑞为首的北洋政府的斗争。1923年参与领导京汉铁路工人“二七”大罢工。

　　1924年初，他作为汉口特别区共产党代表，出席中国国民党第一次全国代表大会，后任中共汉口地委委员。同年11月，廖乾五在广州参与组建“建国陆海军大元帅府铁甲车队”，任该队国民党党代表、共产党小组长。他对全队官兵进行严格的军事、政治训练，使铁甲车队成为我党最早掌握的一支正规革命武装。

　　1925年10月，以铁甲车队为基础，国民革命军第十二师三十四团（北伐前夕改称第四军独立团）成立，廖乾五升任第十二师政治部主任，1926年任第四军党代表兼政治部代主任、主任。他率部参加了北伐战争，转战湘、鄂、赣、豫诸省，参与指挥攻占平江、汀泗桥、贺胜桥、武昌、马回岭、九江等战斗。

　　第4军在北伐战争中能攻善战，所向披靡，享有“铁军”的称号，这与廖乾五领导的政治工作是密不可分的。他十分重视发挥党员的骨干作用，注重部队的思想政治教育，注意发动和组织民众。时任中共中央军委书记的周恩来曾这样评价他：北伐军的许多政治部中，以四军政治部成绩最好。

　　1930年夏，廖乾五任中共湖南省委军委书记，负责兵运工作，任职不久就被国民党湖南当局秘密逮捕。他坚贞不屈，绝口不谈党的任何机密。敌人惧于他的威望和声誉，不敢公开审讯。同年9月3日他被秘密杀害于长沙，时年44岁。