事實上，早在1920年8月陳獨秀在上海成立發起組時，就將長沙和北京、漢口、廣州等一起列在了自己的建黨計劃中。11月，陳獨秀正式寫信給，委託他在長沙建立黨的組織。經過慎重準備，等改組新民學會，正式成立了長沙小組。在此前後，北京、武漢、廣州等地的小組也相繼成立。
各地小組的成立，爲統一的全國組織的建立準備了成熟的條件。1921年6月底，和何叔衡作爲長沙小組的代表，應邀赴上海出席黨的一大，正式創建中國。在會上擔任記錄工作。
會後，返回長沙，一面積極着手建立黨在湖南的基層組織，一面發動工人運動。到1922年5月，湖南（包括江西萍鄉安源）已有黨員30人，並建立了衡陽和安源等黨支部。還積極着手在湖南建立了社會主義青年團組織。
在工人運動方面，於1921年10月在長沙成立了中國勞動組合書記部湖南分部，作爲領導湖南工人運動的組織機構。此時，在湖南工人中規模和影響較大的組織是成立於1920年11月的湖南勞工會，創始人爲黃愛和龐人銓。但該組織受無政府主義的影響，只重視經濟鬥爭。認爲，應當積極爭取湖南勞工會，提高它的政治覺悟和鬥爭水平。經過努力，黃愛和龐人銓表示同意接受改組，並請協助主持會務。對湖南勞工會的成功爭取，很快就掀起了湖南工人運動的第一個。1921年底，長沙一萬多工人發動了罷工鬥爭。在成功改組湖南勞工會後，又先後領導組建了粵漢鐵路工人俱樂部和安源路礦工人俱樂部，並組建了長沙泥木工會、人力車工會、筆業工會、理髮工會、縫紉工會、鉛印活版工會等組織，並先後領導發動了安源路礦、粵漢鐵路、水口山鉛鋅礦和長沙泥木工人等一系列罷工鬥爭。
爲了領導安源路礦工人的罷工鬥爭，他不僅委派李立三和到安源進行組織發動工作，而且親自多次來到安源進行現場指導。經過周密的準備，安源路礦工人大罷工於1922年9月正式發動，經過5天的激烈鬥爭，罷工鬥爭取得勝利。
在湖南領導的一系列工人罷工鬥爭，引起了中央主要領導人的重視。1923年6月，陳獨秀在三大上總結二大以來黨的工作時說：就地區來說，我們可以說，上海的同志爲黨做的工作太少了。北京的同志由於不瞭解黨組織，造成了很多困難。湖北的同志沒有及時防止衝突，因而工人的力量未得增加。只有湖南的同志可以說工作做得很好。
在這次代表大會上，由於出色地組織領導了湖南地區的工人運動，不僅被選爲中央局正式委員，擔任中央局秘書，而且被調到中央工作，進入了中國的領導核心。
三大後，中國決定同國民黨實行黨內合作，完全贊成這一決定。1924年1月，旨在實現國共合作的中國國民黨第一次全國代表大會在廣州召開。被孫中山提名爲國民黨中央候補執行委員。國民黨一大後，被派往國民黨上海執行部工作。上海執行部是國民黨除廣東根據地以外的最重要的機構，統管江蘇、浙江、安徽、江西、上海等地的黨務工作。國民黨元老胡漢民、汪精衛、于右任等分任各部部長。人沈澤民、瞿秋白、鄧中夏、惲代英、向警予、羅章龍等也在各部負責實際工作，任上海執行部組織部秘書兼代秘書處文書科主任。當時社會上稱國民黨上海執行部爲“國共羣英會”。不久，赴廣州就任國民黨中央代理宣傳部部長。爲了克服以往國民黨不重視宣傳工作的缺點，他大力充實宣傳部的人員配置，先後將蕭楚女、沈雁冰等人調進宣傳部。宣傳部一時人才濟濟，有“人才內閣”之稱。
爲了維護國共合作局面，始終堅持與國民黨右派分裂勢力進行堅決鬥爭。這種鬥爭在孫中山先生去世後，顯得更爲頻繁與艱鉅。當時黨內以陳獨秀爲代表的一些人執行共產國際的錯誤指示，主張通過不斷退讓來維持國共統一戰線的存在，面對國民黨右派的不斷進攻，採取妥協退讓政策。這進一步助長了國民黨右派分裂活動的迅速加劇，結果付出了極爲沉重的代價：國民黨先後發動了“四一二”和“七一五”反革命政變，其他地方軍閥也相繼發動事變，轟轟烈烈的第一次大革命失敗了，人和進步革命羣衆遭到了殘酷的鎮壓，中國革命陷入了低潮。
三大後，在工作上的一個重要變化，就是逐步把主要精力放到了組織領導農民運動上來了。不過，並不是一開始就認識到了農民運動的重要性的，毋寧說他起初對農民運動尚不夠重視。比如，中國早期重要領導人惲代英於1923年初寫信給，說我們也可以學習陶行知到鄉村裡去搞一搞。當時曾認爲，現在城市工作還忙不過來，怎麼顧得上農村呢？
在三大上，曾提出過一個關於農民問題的決議案。他指出，湖南工人數量很少，國民黨員和員更少，可是滿山遍野都是農民。因此，他認爲，任何革命，農民問題都是最重要的。中國曆代的造反和革命，每次都是以農民暴動爲主力。中國國民黨在廣東有基礎，無非是有些農民組成的軍隊，如果也注重農民運動，把農民發動起來，也不難形成像廣東這類的局面。
1924年12月，回湖南一邊養病，一邊在當地領導農民運動。他在韶山秘密組織農民協會，發展骨幹分子加入黨組織，隨後又成立了韶山支部。當時，韶山地區遭遇大旱，可是當地的土豪劣紳卻將米穀偷偷運往外地以牟取暴利。決定召集韶山支部和農協骨幹分子，發動農民起來鬥爭，迫使地主開倉平糶。經過鬥爭，地主被迫開倉平糶。
1926年1月，在國民黨二大上，被指定參加修改《農民運動決議案》。《決議案》指出：“中國之國民革命，質言之即爲農民革命。爲要鞏固國民革命之基礎，亦惟有首在解放農民。”二大後，就任國民黨中央農民部主辦的農民運動講習所所長。農講所的目的是“養成農民運動人材，使之擔負各處地方實際的農民運動工作”。在被迫辭去國民黨中央宣傳部代理部長後，將全部精力投入到了農民運動講習所的工作中來。他親自主講“中國農民問題”、“農村教育”、“地理”三門課程。他在講課時指出：“國民革命的目標，是要解決工農商學兵的各階級問題；設不能解決農民問題，則各階級問題也無由解決。”“可以說中國國民革命是農民革命。”
1926年，開始編印一套《農民問題叢刊》，供全國各地從事農民運動的人蔘考。9月1日，第一輯正式出版。在爲第一輯出版時所寫的序言《國民革命與農民運動》一文中，明確指出：“農民問題乃國民革命的中心問題，農民不起來參加並擁護國民革命，國民革命不會成功；農民運動不趕速地做起來，農民問題不會解決；農民問題不在現在的革命運動中得到相當的解決，農民不會擁護這個革命。”“所謂國民革命運動，其大部分即是農民運動。”
1926年10月，就任中央農民運動委員會書記。主持中央農委工作後，首先是制定並落實《目前農運計劃》，力圖對全國的農民運動作出通盤的部署。其次是通過實地調查研究，於1927年3月發表了《湖南農民運動考察報告》一文，嚴厲批駁了黨內外關於農民運動“過火”、“幼稚”、“動搖北伐軍心”、“妨礙統一戰線”，是“惰農運動”、“痞子運動”、“糟得很”等的錯誤論調，熱情支持各地農民運動的開展。
1927年5月27日和6月12日，共產國際執委會機關刊物《共產國際》先後用俄文和英文發表了《湖南農民運動考察報告》。這是第一篇被介紹到國外的文章。英文版的編者按說：“在迄今爲止的介紹中國農村狀況的英文版刊物中，這篇報道最爲清晰。”當時任共產國際執委會主席團委員的布哈林在執委會第八次擴大全會上也說：“我想有些同志大概已經讀過我們的一位鼓動員記述在湖南省內旅行的報告了。”這篇報告“文字精練，耐人尋味”。
的這一看法顯然超過了黨內其他領導人的認識。因爲就在此前的7月份召開的一次中央執行委員會擴大會議上，還規定農民協會“尚不能帶有階級色彩”，農民的武裝“不能超出自衛的範圍”等。
這篇2萬多字的文章後來被編成小冊子公開出版。瞿秋白在爲該書所寫的序言中說：“中國的革命者個個都應該讀一讀這本書。”瞿還稱是“農民運動的王”。
其後，繼續站在農民運動的前面對它進行指導。隨着北伐戰爭的順利發展，主持的農民運動講習所也隨國民政府一起遷到了武昌。提議農講所應直接歸國民黨中央辦理，並擴大招生規模和範圍。這一提議獲得了國民黨中央的同意。武昌中央農講所的《規約》中赫然寫明：“爲將來發展農民武裝起見，所以要受嚴格的軍事訓練”，“不接受這種嚴格的軍事訓練，便是對革命沒有誠意。”每個學員還發了一支漢陽製造的七九式步槍，每天訓練2小時。“四一二”事變後，增加到每天4小時。每週野外軍事演習一次。的這一做法在黨內是頗具獨創性的。這些受過訓練的學員，日後有不少成爲各地農民武裝起義的骨幹分子。
在國民黨二屆三中全會上，又和鄧演達等一起向全會提交了《土地問題案》（後改爲《農民問題案》）、《對農民宣言案》。全會通過的《對農民的宣言》明確表示，革命需要一個農村的大變動，“使農村政權從土豪劣紳不法地主及一切反革命派手中，轉移到農民的手中”；“農民應有自衛的武裝組織”；“中國的農民問題，其內容即是一個貧農問題”；“貧農問題的中心問題，就是一個土地問題”。強調，解決土地問題就是要廢除封建制，使農民得到解決。在當前來說，“要增加生力軍保護革命，非解決土地問題不可”。它的直接作用，是能夠解決財政問題及兵士問題。“因農民要保護他們的土地，必勇敢作戰。”
對農民問題、土地問題和武裝問題的重視，爲開闢中國革命新路，作了一個極爲重要的探索。
同一樣，陳雲也是在先從事工人運動後，再逐步認識到發動農民運動的重要性的。
陳雲曾回憶說：商務印書館是他在那裡“進行過階級鬥爭的地方”。的確，陳雲在進入商務印書館後不久，就積極投身到了領導工人運動的鬥爭中去。
1925年5月15日，上海內外棉七廠日本大班槍殺工人黨員顧正紅，引起羣衆的極大憤怒。中央決定發動舉行罷工鬥爭，抗議日本帝國主義鎮壓、迫害中國工人的血腥罪行。5月30日，上海工人和學生舉行街頭演講和示威遊行，遭到英租界巡捕的槍擊，發生了震驚中外的“五卅慘案”。英帝國主義的暴行，激起了中國人民更爲強烈的義憤。一場更大規模的反帝浪潮爆發了。
陳雲和商務印書館的進步青年積極參加了這場反帝愛國運動。陳雲除了積極參加遊行示威活動外，還主動參加了上街義務叫賣《公理日報》的活動。《公理日報》是由商務印書館的編輯鄭振鐸、葉聖陶、胡愈之等邀請少年中國學會、醒獅週報社、學術研究會、上海通訊圖書館、孤軍雜誌社、太平洋雜誌社、婦女問題研究會、中華學藝社、中國科學社上海分社、中華農學會、文學研究會、上海世界語學會等12個團體的代表組成的上海學術團體對外聯合會創辦的一份報紙，目的是如實報道帝國主義鎮壓上海工人運動的罪行。
每天天剛亮，陳雲都會準時出現在上海的街頭，義務叫賣《公理日報》。由於報紙敢說其他報紙不敢說的話，客觀報道事件真相，在市民中影響日益增大，加上義務售賣工作搞得好，很快就使發行量猛增到2萬多份。
爲了支持工人和學生的愛國運動，陳雲還積極參加館裡搞的募捐活動。在陳雲等人的努力下，商務印書館先後捐出了1000元給上海總工會，5000元給上海臨時濟安會，轉給了罷工工人和學生。陳雲等還上街舉行了募捐活動。
由於陳雲的出色工作，1925年6、7月間，他被吸收爲商務印書館的臨時黨團成員，負責發動和領導商務館的工人罷工鬥爭。那時的商務印書館，用工制度不健全，館裡經常錄用工資低、精力足的年輕工人，而對年紀大的工人則經常辭退，致使其生活無着。
爲了維護工人的合法利益，陳雲決定發動商務印書館的工人進行罷工。他把罷工的時機選擇在新學期到來前夕、正是以經營學生用品爲主要獲利來源的商務館效益最好的時刻。他經過反覆思考和深入分析，認爲選擇這一時期，罷工鬥爭容易獲得成功。針對一些工人害怕罷工失敗、丟掉飯碗的顧慮，陳雲分析道：五卅慘案發生後，全國的民族主義革命思想普遍高漲，這爲罷工獲得社會同情和支持提供了有利條件；新學期即將來臨，正是資本家賺取的大好時機，這個時期罷工，老闆必然要考慮到防止生意被同行搶走，因此，只要工人們團結一致，堅持鬥爭，取得罷工勝利的可能性是很大的。
事實正是這樣。經過深入、細緻的動員和準備，商務印書館臨時黨團決定成立了以陳雲爲委員長的臨時罷工委員會。委員會決定首先發動發行所職工進行罷工，併成立了以陳雲爲委員長的發行所職工會委員長。1925年8月22日，發行所職工舉行罷工。接着，印刷所、總務處職工起而響應。當晚，總務同人會、發行所職工會、印刷所工會決定採取聯合行動，成立罷工執行委員會，陳雲再次被推舉爲委員長。
在陳雲的統一組織、指揮下，罷工工人成功地抵制了資本家分化拉攏、破壞罷工的陰謀。罷工鬥爭堅持到27日，資本家被迫答應工人們提出的所有要求：成立全館工會組織、增加工資、縮短工時、廢除包工制、優待女工和學徒、不得因此次罷工開除工人、罷工期間工資照發等，罷工鬥爭取得勝利。
陳雲的堅定意志和出色的組織才能，引起了商務印書館黨組織的高度重視，經商務印書館黨員懂亦湘、惲雨棠的介紹，陳雲光榮地參加了中國，隨後被推選爲商務印書館發行所職工會執行委員，從此走上了職業革命家的道路。
陳雲雖然長期從事工人運動，但他在革命鬥爭的實踐中，也逐漸深刻地認識到了在中國這樣一個以農民爲主體的國家裡，要想最終取得革命的徹底勝利，就必須大力發動和組織農民參加革命。早在1926年7月，陳雲就在商務印書館職工會編的《職工》雜誌上發表《中國民族運動之過去與將來》一文，指出：“在以農立國的中國，佔全國人口80%強的農民，是民族運動中唯一大主力。農民不參加運動，中國革命鮮有希望。”“現在雖然在很少的幾處有了農民協會等組織，不過還沒有出現急進的趨勢。但是，中國農民不是柔弱的，是富有革命性的。”
在這篇文章中，陳雲還指出，農民是中國民族運動的主力，但如何把成千上萬的農民組織起來，又如何訓練已組織起來的農民，把他們引上正軌，使之和全國工人、學生、小商人及一切革命分子同在反帝國主義的旗幟下面去做民族運動的工作，這是很急迫需要解決的一個重要問題。爲此，他提出了“到民間去”的口號。