1926年底，黄霖毅然脱离川军，只身赴武汉投奔北伐军，在国民革命军第四军政治部任宣传员，并参加河南的战争。1927年6月下旬，从河南开封回到武汉。当时，蒋汪合流反共活动更加猖狂，黄霖所在宣传队遭到解散。

    身处逆境的黄霖，在当月下旬的一天，找到了四川陆军讲武堂同学、共产党员刘力劳，想通过刘力劳找到一份工作。刘力劳知道黄霖来意后就说：“你愿不愿意去贺龙率领的国民革命军第二十军工作？”黄霖听后，既兴奋又紧张。早就听说过贺龙两把菜刀闹革命的故事，可从未和贺龙见过面，不知道贺龙会不会接纳他这个小兵？就这样，黄霖怀着一颗忐忑的心，和刘力劳一起来到了贺龙的军部。过不多久，贺龙就出来招呼他们。在听完对黄霖的介绍后，贺龙笑着说道：“小鬼，你来我们这个部队参加革命，好得很，我们很欢迎啊……现在任命你接替刘力劳担任特务营第一连连长。”黄霖顿时激动得说不出话来，一个劲地直点头。他做梦也想不到，自己可以这么顺利地来到贺龙身边，参加革命工作了。

    7月17日晚，贺龙在湖北黄石的国民革命军第二十军军部紧急召开连长以上军官大会，通报武汉汪精卫七一五叛变革命的消息，指出：现在革命到了危急关头，我们怎么办？摆在我们面前有三条路：第一条路是解散队伍，放下武器回家；第二条路是投降国民党，去当反革命；第三条路是跟着共产党干革命。”接着贺龙又坚定地说：“前面两条路都是死路，我们只有一条路就是跟着共产党继续闹革命。愿意跟我一道继续干革命的，更要一条心，拥护共产党；不愿意跟共产党走的，可以离开，但决不允许拉队伍后腿……”

    黄霖听了贺龙这些肺腑之言，深受教育和启发，表示坚决拥护共产党、坚决跟共产党走、坚决革命到底。7月19日晚，刘力劳找黄霖谈话，表示要介绍黄霖加入共产党。刘力劳说：“参加了共产党，就要有决心为了共产主义事业奋斗终身，把自己的一切包括生命在内，贡献给党，就要坚决执行党的一切决定，保守党的秘密，永不叛党！这些你都能办到吗？”黄霖坚决回答：“我都能办到，我有决心为共产主义的崇高事业奋斗终身！”刘力劳满意地说：“好，我相信你能这样，从现在起，你就是中国共产党党员了，请你记住这最为光荣的日子。”

    7月26日，加入共产党的黄霖随贺龙部队从黄石港经九江到达南昌，参加南昌起义，担任起义总指挥部警卫任务，并投入攻打敌第五方面军总指挥部的战斗。起义胜利后，黄霖随军南下，浴血奋战于赣、闽、粤三省。