广州起义失败后，俞作豫按党中央指示，在白色恐怖极其严重的形势下，回到家乡广西北流坚持斗争，先后担任中共北流县委委员、县委书记，陆续恢复了北流、玉林、博白、陆川等县党的组织和农民自卫军。其间，他利用自己和广西省主席俞作柏是兄弟，和广西编遣特派员李明瑞是表兄弟的特殊关系，在军队和地方政府中任用共产党员，发展党的组织，掌握了部分武装的领导权。
1929年12月和1930年2月，在邓小平、张云逸、韦拔群、李明瑞、俞作豫等领导下，分别举行了百色起义和龙州起义，建立了红七军、红八军和左右江革命根据地。邓小平任中共前敌委员会书记兼红七、红八军政治委员，李明瑞任红七、八军总指挥，张云逸任红七军军长，俞作豫任红八军军长。
1930年8月18日，因叛徒出卖，俞作豫在深圳被国民党特务逮捕，押至广州。敌人对俞作豫软硬兼施，妄图从他口中得到我党组织和红军的情况。面对凶残的敌人，俞作豫坚贞不屈，大义凛然，表现了共产党员视死如归的大无畏精神：“我就是你们要抓的红八军军长、共产党员俞作豫！”
1930年9月6日，俞作豫高呼着“打倒国民党反动派！” “中国共产党万岁！”“红军万岁！”的口号，在广州黄花岗英勇就义。
