在國民黨發動“四一二”、“七一五”反革命政變，破壞國共合作的反帝統一戰線後，中國革命遭到嚴重破壞，陷入低潮時期。爲貫徹“八七會議”確定的武裝反抗國民黨反動統治的總方針，和陳雲分別在湖南和上海農村發動了農民起義，並開始對適合中國情況的革命道路進行了艱辛探索。
黨的“八七會議”後，中央決定派回湖南領導秋收起義。回湖南後，經過調查研究，確定了五點暴動綱領：（1）省的黨組織同國民黨完全脫離關係；（2）組織工農革命軍；（3）沒收大地主以及中、小地主的土地財產；（4）在湖南建立獨立於國民黨的力量；（5）組織工農兵蘇維埃。這些綱領的提出，表明已經根據形勢的發展，拋棄了此前的一些不切實際的主張，放棄了繼續打國民黨旗幟的做法，糾正了只沒收大地主土地而不動中小地主土地的錯誤認識。此外，在暴動範圍上，改變了原先要在全省全面發動的主張，決定只集中於湘中地區；在起義所依靠的力量上，改變了原先只注意農民武裝而不重視爭取正規軍的安排，決定大力加強爭取正規軍的工作。所有這些都充分顯示出了的過人膽識和求實創新精神。
經過周密準備，1927年9月9日，湘贛邊界秋收起義按預定計劃爆發了。起義部隊原準備向長沙進軍，但在對形勢做了深入分析後，認爲起義軍已無法按原定計劃行動。一是起義部隊在反動軍隊的進攻下，加上沒有來得及進行教育整編，官兵的思想覺悟不高，目的性不明確，一遇到困難和挫折，開小差的特別多，人數很快由原來的5000人銳減到1500多人；二是長沙的敵人守備力量很大。所以，當機立斷，決定在文家市召開部隊師、團主要負責人蔘加的前敵委員會會議。經過激烈爭論，會議決定將起義部隊向南轉到敵人力量薄弱的農村山區，尋找落腳點，以保存革命力量，再圖發展。
但在部隊南下轉移途中，由於遇到國民黨軍隊的尾追阻截，有的戰死了，有的開小差，損失很大。一些長官受舊軍隊影響，隨意打罵士兵，部隊的戰鬥力不強。9月29日，當部隊到達江西永新縣的三灣村時，終於得以暫時擺脫敵軍的尾追，當地又沒有地主反動武裝，起義軍得到了自秋收起義以來的第一次從容休整的機會。決定召開前敵委員會擴大會議，討論部隊中存在的問題及解決辦法。會議經過討論，決定對部隊實行整頓和改編，史稱“三灣改編”。
三灣改編的主要內容是：第一，把所剩不到1000人的部隊，縮編爲一個團；第二，在部隊內部實行民主制度，官兵平等，待遇一樣，規定官長不準打罵士兵，連以上建立士兵委員會，參加對部隊的行政管理和經濟管理，官長要接受對它的監督。第三，全軍由黨的前敵委員會統一領導。班設黨小組，支部建在連上，營團建立黨委，連以上設黨代表。部隊的一切重大問題，都必須經黨組織集體討論決定。三灣改編，逐漸改變了舊式軍隊的習氣和農民的自由散漫作風，成了建立新型人民軍隊的重要開端，在人民軍隊的發展史上有重大意義。
接着，得知地處湘贛邊界羅霄山脈中段的的井岡山地區，面積約有4000平方公里。這裡在大革命時期曾建立過黨的組織和農民自衛軍，羣衆基礎較好；遠離中心城市，國民黨統治力量薄弱；地處山區，交通不便，進可攻，退可守；周圍各縣的農業生產條件較好，便於籌集給養。於是便率領起義部隊向井岡山地區開進。
井岡山上原有袁文才、王佐領導的兩支“綠林式”農民武裝，長期堅持武裝鬥爭，在當地人民中有一定影響。爲了能在井岡山地區站穩腳跟，必須取得袁文才、王佐的支持。經過反覆做工作，終於成功地說服、改組了袁文才、王佐的原有武裝，使之成了中國領導的武裝力量。
在領導工農革命軍同反動軍閥的作戰過程中，逐漸認識到如果沒有人民羣衆的支持，常常陷入被動地位，因此他適時地提出，革命軍隊應當擔負起三大任務：打仗消滅敵人；打土豪籌款子；做羣衆工作。這就爲新型人民軍隊的建設指出了明確的發展方向，也是人民軍隊同歷史上所有舊軍隊的根本區別所在。
1928年1月間，又概括提出了人民軍隊建設的“三大紀律，六項注意”。“三大紀律”是：行動聽指揮；打土豪款子要歸公；不拿老百姓一個紅薯。“六項注意”是：上門板；捆鋪草；說話和氣；買賣公平；借東西要還；損壞東西要賠。
“三大紀律，六項注意”的提出，妥善地處理了革命軍隊同人民羣衆的相互關係，是人民軍隊能夠在人民羣衆的大力支持下，從小到大地發展起來並最終戰勝敵人的重要力量源泉。
到1928年2月，領導的工農革命軍由不足一個團迅速發展到一個師兩個團，並且同當地農民運動緊密結合，摧毀了茶陵、遂川、寧岡三個縣的舊政權，建立起新的工農革命政權及赤衛隊和游擊隊等地方武裝，土地改革也開始了試點，並取得了初步經驗。一個初步鞏固的農村革命根據地在井岡山建立起來，打開了實現工農武裝割據的新局面。4月，朱德、陳毅等率領南昌起義部隊到達井岡山地區，與領導的軍隊會合，成立了中國工農革命軍第四軍（6月，根據中央指示，工農革命軍第四軍改稱工農紅軍第四軍），朱德任軍長，任黨代表，陳毅任教導大隊大隊長。朱毛兩部會師後，加上對地方武裝的整編，軍隊人數有了明顯的增加，由原先的1000多發展到6000多，戰鬥力也明顯增強，根據地面積很快發展到7200多平方公里，人口有50多萬，進入了邊界的“全盛時期”。和朱德在總結作戰經驗的基礎上，概括出了“敵進我退，敵駐我擾，敵疲我打，敵退我追”的游擊戰十六字訣。
實踐出真知。井岡山革命根據地的成功開闢，爲革命根據地理論的形成與發展提供了重要的實踐依據。1928年10、11月，先後寫出了《中國的紅色政權爲什麼能夠存在？》和《井岡山的鬥爭》兩篇重要文章，對一年多來實行工農武裝割據過程中的經驗教訓進行了初步總結和理論概括。
指出，井岡山地區的“工農武裝割據”是中國領導下的武裝鬥爭、土地革命和根據地建設的密切結合：武裝鬥爭是中國革命的主要形式，根據地是主要依託，土地革命是主要內容，三者相輔相成，密切聯繫，共同構成一個有機整體。沒有革命的武裝鬥爭，就不能進行有效的土地革命和發展革命根據地；沒有土地革命，紅軍戰爭就得不到羣衆的支持，革命根據地也就不能鞏固和發展；不建設革命根據地，武裝鬥爭就沒有後方的依託，土地革命成果也就無法保持。
井岡山地區地狹民貧，紅軍人數的驟增，給籌集給養帶來了困難；反動軍隊的多次進剿，更加重了根據地人民的困難程度。爲了擴大紅色區域和紅軍的影響，粉碎敵人的聯合會剿，紅四軍決定彭德懷率部留守井岡山，、朱德率紅四軍主力向贛南、閩西出擊。
1928年11月，紅四軍成立前敵委員會，爲前委書記。12月，彭德懷、滕代遠率領在平江起義中創建的紅五軍主力來到井岡山地區，同朱毛紅軍實現會師，進一步加強了井岡山的武裝鬥爭力量，井岡山根據地成了全國各根據地中人數最多、戰鬥力最強的一支紅色武裝。
1929年3月，朱毛紅軍攻克福建西部地區的長汀縣城。正在這時，國民黨統治營壘內部發生重大分歧，蔣桂戰爭一觸即發。而井岡山革命根據地在國民黨反動軍隊的軍事進攻下，已告失守。於是，、朱德經過對形勢的深刻分析，決定在贛南閩西20多個縣的範圍內開展游擊戰爭，實行武裝割據。不久，蔣桂戰爭正式爆發，朱毛紅軍利用這一有利形勢，很快在贛南地區造成了工農武裝割據的局面。
這時，紅四軍內部圍繞新型人民軍隊的建設問題在主要領導人之間出現了較大分歧。一些人認爲，四軍中的前委權力太大，主張設立軍委以分散其過度集中的權力；另一些人則認爲，由於戰鬥頻繁和部隊經常轉移，軍隊指揮需要集中，沒有必要再在前委之下另設軍委。由於爭論涉及到兩位主要領導人和朱德，前委決定召開紅四軍第七次代表大會討論解決問題。大會所做的決議雖然對許多具體問題的結論是正確的或比較正確的，但卻錯誤地否定了提出的黨對紅軍領導必須實行民主集中制和反對流寇思想的正確意見，認爲的領導存在家長制傾向，決定給予以黨內“嚴重警告”的處分，並將其由中央指定的前委書記一職改選掉了。會後，離開紅四軍到蛟洋養病。
紅四軍七大後，由於受極端民主化思想的影響，無論大事小事，都要拿到會上去討論，並且往往是議而不決，嚴重地影響了軍事活動的效率。不久，陳毅赴中央彙報紅四軍內部的爭論情況，紅四軍召開八大試圖扭轉這種局面，但沒有成功。
中央聽取了陳毅的彙報後，明確指出在政治上是“比較正確的”，並決定由陳毅執筆代表中央給紅四軍起草了着名的“九月來信”。“來信”肯定了提出的“工農武裝割據”和紅軍建設的基本原則，要求紅四軍要維護朱德和的團結，“應仍爲前委書記”。從而爲不久後在的主持下召開紅四軍黨的第九次代表大會，成功解決黨內分歧，糾正各種不正確思想提供了重要條件。
1929年12月底，在中國人民軍隊發展史上具有重要歷史意義的紅四軍黨的第九次代表大會在福建上杭縣古田村召開。由於會前主要領導人已形成共識，會議經過熱烈討論，一致通過了起草的八個重要文件，總稱《中國紅軍第四軍第九次代表大會決議案》，通常稱爲“古田會議決議案”，重新當選爲紅四軍前委書記。
古田會議決議，總結了紅四軍成立以來在部隊建設上的基本經驗，確立了中國人民軍隊建設的基本原則。關於紅軍的性質、宗旨和任務。決議指出，紅軍是執行革命政治任務的武裝集團，必須堅決貫徹中國的綱領、路線、方針和政策，完全服務於人民革命戰爭、根據地建設和土地革命，必須同時負擔打仗、做羣衆工作和籌款三大任務。這是它區別於其他一切舊軍隊的根本標誌之一，因此，必須反對單純軍事觀點和不重視根據地的流寇思想。
關於黨對紅軍實行絕對領導的原則。決議指出，紅軍中必須健全各級黨的組織，實行政治委員制度，反對以任何藉口來削弱黨對紅軍的領導；要反對極端民主化和非組織的觀點以及個人主義的的錯誤傾向，黨的決議一經通過，要通過羣衆路線去執行，少數人在自己的意見被否決之後，必須擁護多數人所通過的決議；黨內要正確開展批評和自我批評，黨員幹部要接受黨組織的監督。
關於紅軍中的政治機關和政治工作的地位。決議規定，在地方政權沒有建立之前，紅軍的政治機關和軍事機關在前委領導下平行執行各自擔負的工作：政治訓練及羣衆工作等，軍事系統應接受政治系統的指揮；作戰、宿營、給養等，政治系統應接受軍事系統的指揮。決議批評了將政治機關隸屬於軍事機關的錯誤觀點。
關於紅軍內部的思想政治教育。決議從紅四軍的組成及處在農村分散遊擊環境的實際出發，指出對紅軍不斷進行馬克思主義和黨的正確路線教育，是克服各種非無產階級思想，提高軍隊政治素質，完成無產階級政治任務的中心環節。
關於處理紅軍內外關係的原則。決議指出，在紅軍內部，堅持官兵平等，實行民主主義制度；在軍政關係上，軍隊要尊重人民政權機關，鞏固它在羣衆中的威信；在軍民關係上，軍隊要嚴格執行“三大紀律”和“六項注意”，同人民羣衆打成一片；在對敵軍工作上，要求在堅決消滅一切敢於頑抗的敵人的同時，實行瓦解敵軍和寬待俘虜的政策。
古田會議決議是中國和紅軍建設的綱領性文獻。它系統地解決了以農民爲主要成分的軍隊如何建設成無產階級領導的新型人民軍隊這個根本問題。這一決議後來在其他根據地也相繼實行了，大大加快了建設新型人民軍隊的進程。
古田會議後，積極着手在具體工作中貫徹古田會議決議，並花了很大力氣進行了大規模的社會調查。在對社會情況進行深入調查的基礎上，他於1930年5月發表了《調查工作》（公開發表時改爲《反對本本主義》）一文，響亮地提出了“沒有調查就沒有發言權”的着名論斷。文章嚴肅地指出，在學習馬克思主義的“本本”的時候，一定要同“我國的實際情況相結合”，“中國革命鬥爭的勝利要靠中國同志瞭解中國情況”，“的正確而不動搖的鬥爭策略，決不是少數人坐在房子裡能夠產生的，它是需要在羣衆的鬥爭過程中才能產生的，這就是說要在實際經驗中才能產生。”一個多月後，他在起草的一個通知中又提出：“我們的口號是：一，不做調查沒有發言權。二，不做正確的調查同樣沒有發言權。”這樣就把前一個口號說得更完全、正確了。
1930年6月，中央決定將紅四軍、紅六軍、紅十二軍（由紅四軍第三縱隊和贛南地方武裝合編而成）整編爲紅軍第一路軍，不久改稱紅軍第一軍團，由朱德任總指揮，任政治委員，兼第一路軍總前敵委員會書記。8月，紅一軍團又與紅三軍團合編爲中國工農紅軍第一方面軍，總兵力達3萬人，朱德任總司令，任總政治委員兼總前敵委員會書記，同時成立中國革命委員會，統一指揮紅軍和地方政權的工作，任主席。
從1930年10月底到1931年10月初，在不到一年的時間裡，、朱德等指揮紅一方面軍，採用誘敵深入，避敵主力，打其虛弱，集中優勢兵力在運動戰中殲滅敵人的作戰方針，相繼打破敵人發動的三次反革命圍剿，使長期被分割的贛南閩西兩塊根據地連成了一塊，形成了以瑞金爲中心的鞏固的中央革命根據地，下轄28個縣，擁有瑞金、興國、於都、長汀、上杭等15座縣城，總面積5萬多平方公里，人口達259多萬。
通過大力開展武裝鬥爭、土地改革和革命根據地建設，關於中國革命道路理論的基本觀點已經形成，從而也就把“八七”會議確定的實行土地革命和武裝反抗國民黨反動派的總方針具體化了。從紅軍的建軍原則和作戰原則，土地改革的政策，根據地建設的方針，到實事求是、羣衆路線、獨立自主的思想路線，都已提出了明確而又系統的、切合中國實際的主張，從而開闢了“農村包圍城市，武裝奪取政權”這條獨特的中國革命道路。
1937年5月，在着名的《實踐論》等哲學論文中，更是將上述認識上升到哲學高度加以論述，表明了以爲代表的中國人把馬克思主義普遍真理同中國革命實踐相結合後所實現的第一次飛躍而出現的產物——思想已經產生。
當在湘贛邊界、贛南閩西從事武裝反抗國民黨反動統治、積極探索中國特色革命道路，並取得重要理論成果的同時，陳雲也在家鄉青浦一帶從事反抗國民黨反動統治的武裝鬥爭。
“四一二”反革命政變後，陳雲已無法繼續在商務印書館從事革命活動，受黨組織的指派，陳雲返回家鄉從事武裝起義的準備工作。在同商務印書館的同事告別時，他說：“我此去一不做官，二不要錢，三不妥協，只爲了要跟反動派堅決鬥爭到底，求工人階級的徹底解放。”針對搞革命所可能遇到的危險，他樂觀地寫了一首打油詩：“鐵窗風味，家常便飯。殺頭槍斃，告老還鄉。”表示了不怕犧牲、獻身革命的堅定決心。
陳雲是在1927年10月初返回青浦的。當時的青浦，籠罩在一片白色恐怖之中。黨組織遭破壞，不少黨員被迫向外地轉移；農會組織也停止了活動，骨幹分子有的遠走他鄉，有的倒向了國民黨一邊。大革命時期被趕跑了的大地主，紛紛捲土重來，農民羣衆又陷入了苦難和悲慘的境地。
陳雲返回家鄉後，決定從傳達黨的“八七會議”精神，重新建立黨的組織，恢復和發展農會工作入手，逐步推動其他工作的開展，爲發動武裝起義做準備。他聯繫上了出獄後仍在青浦地區開展地下鬥爭的黃渡特別支部書記夏採曦，召開了東鄉黨員會議。在會上，陳雲傳達了黨的“八七會議”精神和江蘇省委的指示，分析了發動青浦秋收起義的有利條件和行動策略。陳雲認爲，青浦地處蘇州、嘉興、上海三角地帶的中心，位置十分重要。青浦東鄉與崗山、嘉定相接，東鄉農民的抗租鬥爭如能和嘉定外崗地區農民的“五抗”鬥爭聯合起來，則可切斷滬寧鐵路，支援蘇州、無錫地區的農民暴動；青浦西鄉的小蒸，緊靠滬杭鐵路一側，是松江、金山、青浦三縣交界處，如能和松江、金山農民鬥爭連成一片，就可切斷滬杭鐵路，支援浙江及浦東地區的秋收暴動，並可以配合上海的工人運動。
會議經過討論，大家對陳雲的分析表示贊同，決定從東鄉的觀音堂和西鄉的小蒸入手，發動農民開展抗租鬥爭，進而組織農民進行暴動。
會後，陳雲來到小蒸，同當地的員一起，爲發動秋收暴動做準備工作。他們白天和農民一起勞動，晚上進行積極串聯，向農民宣傳抗租的意義和翻身鬧革命的道理。一開始，他講些大城市的見聞，講一些歷史故事。陳雲將小時候聽說書先生講評彈故事的技巧用到了向農民宣講革命道理的工作上來。由於他講得繪聲繪色，鄉親們聽得津津有味，參加的人越來越多。然後，陳雲再講農民的切身利益問題，講地主剝削、官府壓迫，啓發農民的覺悟。接着又講道：地主怎樣剝削農民，有多少種方式；究竟是農民養活了地主，還是地主養活了農民；農民爲什麼會世代受苦。他說：農民貧困的根源是沒有土地，被迫租地和借高利貸。農民只有組織起來，同地主豪紳鬥，打倒地主豪紳，實行耕地農有，進行抗租抗息鬥爭，纔能有飯吃，有衣穿，挖掉窮根。陳雲還經常利用農民上街趕集、到廟會祭神的機會，向農民發表演說，集中宣講革命道理。
在農民覺悟逐漸提高的基礎上，陳雲着手恢復了農會組織，並發展其中的積極分子加入黨組織，領導農民抗租抗稅。1927年11月，江蘇省委任命陳雲擔任青浦縣委書記，下轄小蒸、楓涇、觀音堂三個區委，統一領導青浦縣的農民運動。
農民抗租抗稅鬥爭的不斷高漲，使得地主無法收到租稅。他們便請求官府出面，用武力迫使農民交租。爲了鞏固農民已經取得的抗租成果，陳雲決定組建農民武裝，發動農民進行暴動。
他帶領農民軍處決了7個罪大惡極的地主豪紳，但對團防局（地主武裝）卻採取了繳槍不殺的政策，既避免了硬拼帶來的損失，又有利於對地主豪紳進行分化瓦解，並在打擊地主豪紳氣焰的同時，削弱了地主的力量，農民武裝也得到了壯大。在小蒸抗租鬥爭結束後，陳雲又轉到江浙交界的楓涇一帶領導農民暴動。搞農民暴動隨時都有可能付出犧牲，陳雲卻以高度的革命樂觀主義精神勉勵同志們說：吃官司是到外婆家走親戚，槍斃是告老還家，有何可怕呢？
1928年夏，陳雲組建了松浦特委，領導了奉賢縣的農民暴動。1929年，他擔任江蘇省委滬寧巡視員，兩次到蘇州、無錫、鎮江、南京等地巡視，並親自領導了天寧寺的抗租鬥爭。不久，陳雲進入江蘇省委工作，先後任省農委委員、農委書記、江南省委常委兼組織部部長等職。在領導農民暴動和發動工人運動中所表現出來的傑出組織才能、堅定沉着的意志品格、不怕犧牲的非凡膽略，再加上工人出身的有利背景，陳雲在1930年9月召開的黨的六屆三中全會上，被選爲中央候補委員，開始進入中央領導層。1931年1月，在黨的六屆四中全會上，陳雲又當選爲中央正式委員。