1929年12月11日由参加百色起义的部队组成。张云逸任军长,邓小平任政治委员,辖三个纵队共二千八百余人。创建了右江革命根据地。1930年10月初,因执行中共中央关于进攻中心城市的错误指示,离开右江北进。10月下旬在广西河池将三个纵队编为第十九、二十、二十一师,主力继续北进;韦拔群率一个连以第二十一师名义回右江根据地坚持斗争。主力北进途中,数度进攻敌重兵防守之坚固要点,损失极大,被迫转战于桂湘粤边界地区。1931年1月,到达广东乳源,旋改向中央革命根据地前进,7月到达。不久编入红一方面军红三军团战斗序列。