大革命失败后，中共中央决定在南昌举行武装起义，决定周恩来任起义前敌委员会书记，聂荣臻任前敌军委书记。7月下旬，周恩来从武汉抵达九江，向聂荣臻下达了一项任务，即把驻防九江马回岭的第二十五师拉来南昌参加起义。当时他们有个约定：看到从南昌方向发来一列火车，就表明南昌起义了。

聂荣臻接到任务后，火速赶往二十五师驻地，立即开展策动部队工作。他分析了二十五师三个团的情况：七十三团前身是叶挺独立团，团长周士第是共产党员，把这个团拉出来是应该没有问题；七十四团团长是张发奎的人，把这个团全部拉出来比较有困难；七十五团团长不是共产党员，但该团一营副营长孙一中是这个团的中共支部书记，其中七十五团的营连排级军官中有许多共产党员。聂荣臻反复思考着，认为无法把全师拉过来，但他决定以做七十三、七十五团工作为重点。
经过三天三夜的紧张筹划实施，聂荣臻在周士第及孙一中的大力协助下，把二十五师两个团拉了出来，同时还拉出了七十四团一个重机枪连，总人数超过3000人，于8月1日中午以“打野外”为名，将部队向德安火车站集结。

在行进途中，从南昌方向开来了一列火车，聂荣臻马上意识到南昌起义了。正在此刻，从九江方面也开来了一列火车，原来是张发奎带着卫队营赶来，见到自己主力部队被拉走，张发奎急红了眼。火车停了下来，他站在车门口高声命令部队马上回去。起义部队与张发奎的卫队营形成对峙。聂荣臻当机立断，命令张发奎赶紧退回去。张发奎哪里肯走，于是聂荣臻命令身边的一个排长：“往天上放枪！”一排子弹从张发奎乘坐的列车上呼啸而过。也许他认为起义的人都是红了眼的，当时吓坏了，赶紧跳下车，带着几个随从落荒而逃，卫队营也被缴了械。     

聂荣臻带领部队星夜南下，于8月2日拂晓赶到南昌。他把部队安顿好，来到了起义指挥部，找到了周恩来，汇报了部队情况。周恩来拉着聂荣臻的手高兴地说：“真没想到你把二十五师大部分都拉出来了，你们干得好！”

这支部队编为起义军第十一军第二十五师，聂荣臻被任命为第十一军党代表。在随后的南下征途中，这支部队成为起义主力部队之一。