1926年8月，俞昌准受党组织派遣回到安徽南陵，开展建立党组织的工作和发动农民运动。1927年春，俞昌准调任中共芜湖特支书记，他返回家乡谢家坝，成立了谢家坝党小组，从群众中发展党员，建立党支部，走村串户宣传土地革命思想。
1928年1月，在俞昌准等人的领导下，南芜边区苏维埃政府在谢家坝宣告成立，这是在大革命失败后，安徽诞生的第一个红色农民运动政权。随后，俞昌准领导发动的南芜边区农民武装暴动，犹如一声春雷响彻南芜边区，极大地鼓舞了革命士气，有力地打击了地方反动势力的嚣张气焰，为安徽省农民革命运动树立了一面光辉的旗帜。
武装暴动遭镇压后，俞昌准转移到安庆，在极其危险的环境中，以安徽大学学生身份作掩护，领导组织学生运动。1928年11月22日晚，他因叛徒出卖被捕入狱。
1928年12月16日，蒋介石亲自下令，俞昌准被国民党军警杀害于安庆北门外刑场，牺牲时年仅21岁，难友从狱中带出他用铅笔写下的两行字：“我知必死，望慰父老”“碧血今朝丧敌胆，丹心终古照亲人”。
