在黨的建設上，陳雲和都主張堅持原則，從嚴治黨，
又要愛護幹部；都十分重視接班人的選拔與培養
在黨的建設上，一向堅持原則，從嚴治黨，反對搞特殊化。延安時期，他對黃克功事件的嚴肅處理，就是一例。
黃克功，當時是抗大第6隊隊長，參加過長征，身經百戰，是一個很有才華的年輕軍事將領。1937年10月上旬的一天傍晚，他與其女朋友、陝北公學學生劉茜在延河邊談話，黃強行要與劉儘快結婚，遭到劉的斷然拒絕，黃一怒之下，開槍將劉打死。
出事當天，抗大副校長羅瑞卿就把這件事報告了。很憤怒，說：“這是什麼問題？這是什麼問題！這樣的人不殺，我們還是麼！？”黃被關押後，自感罪孽深重，曾寫信給邊區高等法院雷經天院長，請求法院顧念他多年爲革命事業奮鬥，留他一條生路，“以便今後爲黨盡一點忠”。在收到雷經天轉來的黃克功的信後，很快給雷經天回了一封信。
在信中說：你的及黃克功的信均收閱。黃克功過去鬥爭歷史是光榮的，今天處以極刑，我及黨中央的同志都是爲之惋惜的。但他犯了不容赦免的大罪，以一個員紅軍幹部而有此卑鄙的、殘忍的、失掉黨的立場的、失掉革命立場的、失掉人的立場的行爲，如爲赦免，便無以教育黨，無以教育紅軍，無以教育革命者，並無以教育做一個普通的人。因此中央與軍委便不得不根據他的罪惡行爲，根據黨與紅軍的紀律，處以極刑。正因爲黃克功不同於一個普通人，正因爲他是一個多年的員，是一個多年的紅軍，所以不能不這麼辦。與紅軍，對於自己的黨員與紅軍成員不能不執行比一般平民更加嚴格的紀律，當此國家危急革命緊張之時，黃克功卑鄙無恥殘忍自私至如此程度，他之（被）處死，是他的自己行爲決定的。一切員、一切紅軍指戰員、一切革命分子，都要以黃克功爲前車之戒。請你在公審會上，當着黃克功及到會羣衆，除宣佈法庭判決之外，並宣佈（讀）我這封信。對劉茜同志之家屬，應給予安慰與撫卹。隨後，黃克功被依法處以死刑。還多次以此作爲事例，教育黨員幹部，切不可居功自傲，貪圖享樂，欺壓羣衆，自私自利。
在延安整風運動中，曾指出：“我黨歷史上曾經有過幾次表現了大的驕傲，都是吃了虧的。”“全黨同志對於這幾次驕傲，幾次錯誤都要引爲鑑戒。”因此，他向全黨推薦郭沫若的《甲申三百年祭》一文，要求大家認真閱讀，並“引爲鑑戒，不要重犯勝利時驕傲的錯誤”。
1945年，着名民主人士黃炎培訪問延安時，曾向直言指出：我生60多年，耳聞的不說，所親眼看到的，真所謂“其興也浡焉”，“其亡也忽焉”，一人，一家，一團體，一地方，乃至一國，不少單位都沒有能跳出這週期率的支配力。一部歷史，“政怠宦成”的也有，“人亡政息”的也有，“求榮取辱”的也有，總之沒有能跳出這週期率。諸君從過去到現在，我略略瞭解的了，就是希望找出一條新路，來跳出這週期率的支配。在深感黃先生的直率與真誠的同時，充滿自信地指出：“我們已經找到新路，我們能跳出這週期率。這條新路，就是民主。只有讓人民來監督政府，政府纔不敢鬆懈。只有人人起來負責，纔不會人亡政息”。
新中國成立前夕，爲了防止廣大幹部在勝利後滋長驕傲自滿的情緒，在黨的七屆二中全會上，在講話中又嚴肅地指出：因爲勝利，黨內的驕傲情緒，以功臣自居的情緒，停頓起來不求進步的情緒，貪圖享樂不願再過艱苦生活的情緒，可能生長。因爲勝利，人民感激我們，資產階級也會出來捧場。敵人的武力是不能征服我們的，這點已經得到證明了。資產階級的捧場則可能征服我們隊伍中的意志薄弱者。可能有這樣一些人，他們是不曾被拿槍的敵人征服過的，他們在這些敵人面前不愧英雄的稱號；但是經不起人們用糖衣裹着的炮彈的攻擊，他們在糖彈面前要打敗仗。我們必須預防這種情況。奪取全國的勝利，這只是萬里長征走完了第一步。如果這一步也值得驕傲，那是比較渺小的，更值得驕傲的還在後頭。在過了幾十年之後來看中國人民民主革命的勝利，就會使人們感覺到那好像只是一出長劇的一個短小的序幕。中國的革命是偉大的，但革命以後的路程更長，工作更偉大，更艱苦。這一點現在就必須向黨內講清楚，務必使同志們繼續地保持謙虛謹慎、不驕、不躁的作風，務必使同志們繼續地保持艱苦奮鬥的作風。我們有批評和自我批評這個馬克思列寧主義的武器。我們能夠去掉不良作風，保持優良作風。他還要大家再次學習郭沫若寫的《甲申三百年祭》一文，要求廣大幹部一定要記取歷代農民起義小勝即驕傲、最終導致失敗的教訓。全會根據他的提議，通過了不祝壽、少敬酒、少鼓掌、不以領導人的名字來命名工廠、學校和道路等6項規定。
1949年3月23日，在離開西柏坡前往北京時，曾興致勃勃地說：“今天是進京的日子，不睡覺也高興啊。今天是進京‘趕考’嘛。進京‘趕考’去，精神不好怎麼行呀？”周恩來跟着說道：“我們應當都能考試及格，不要退回來。”接着說：“退回來就失敗了。我們決不當李自成，我們都希望考個好成績。”
但在建國後不久，還是有一些領導幹部未能經受住執政的考驗，很快就腐化變質。他們追求享樂，私慾膨脹，官僚主義嚴重，成了騎在人民頭上作威作福的分子。
爲了支援抗美援朝戰爭，中央決定在1951年在全國範圍內開展一場聲勢浩大的愛國增產節約運動，但在這一運動開展後，全國各地先後暴露出了一批嚴重貪污的違法行爲。對此深感震驚，想不到這些害羣之馬在這麼短的時間內就已蛻化變質。既是爲了要對這些變質分子以嚴厲懲處，更是給有同樣錯誤想法但尚未來得及實施的其他領導幹部以警醒，並能對有輕微錯誤行爲的領導幹部以深刻而又及時的教育與挽救，決定在全國範圍內發動一場大規模的反貪污、反浪費、反官僚主義的“三反”運動。在劉青山、張子善等人的嚴重罪行暴露出來後，對領導幹部中存在的問題一度估計得非常嚴重。
1951年11月底，在轉發中央西南局的一份報告時，指出：“反貪污、反浪費一事，實是全黨一件大事。”“我們認爲需要來一次全黨的大清理，徹底揭露一切大、中、小貪污事件，而着重打擊大貪污犯，對中小貪污犯則取教育改造不使重犯的方針，才能停止很多黨員被資產階級所腐蝕的極大危險現象，才能克服二中全會所早已料到的這種情況，並實現二中全會防止腐蝕的方針。”他還指出：“必須嚴重地注意幹部被資產階級腐蝕發生嚴重貪污行爲這一事實，注意發現、揭露和懲處，並須當作一場大斗爭來處理。”12月8日，他在致華東局、福建省委並告各中央局、各大軍區等的電報中，又指出：“應把反貪污反浪費反官僚主義的鬥爭看作如同鎮壓反革命的鬥爭一樣的重要，一樣的發動廣大羣衆包括民主黨派及社會各界人士去進行，一樣的大張旗鼓去進行，一樣的首長負責，親自動手，號召坦白和檢舉，輕者批評教育，重者撤職，懲辦、判處徒刑（勞動改造），直至槍斃一大批最嚴重的貪污犯，全國可能須要槍斃1萬至幾萬貪污犯才能解決問題。貪污分子，浪費分子和官僚主義分子當然大多數不是反革命分子（可能有一部分人即是反革命分子），他們的罪名是貪污浪費和官僚主義，但這個問題現在已極嚴重，必須看作如同鎮壓反革命鬥爭一樣的重要，一樣的發動人民羣衆大張旗鼓去進行鬥爭，一樣的用死刑和徒刑等對待他們，並且一樣的要查明情況，心中有數（犯貪污的佔全體工作人員的百分之幾，輕者重者最重者又各佔百分之幾），精密地掌握這一斗爭。”12月21日，他在批轉華北軍區後勤部關於“三反”鬥爭的報告時，指出：“軍事系統各部門，特別是後勤部門，貪污、浪費和官僚主義的情況極爲嚴重。很多黨員，甚至負責幹部，沉埋於事務工作，政治思想極不發展，黨員生活極不健全，因此許多人陷入了貪污、浪費和官僚主義的泥坑，許多人本位主義極爲濃厚，只顧小局，不顧大局。這種情況，必須改變。必須在整個軍事系統，特別着重在後勤部門，展開整黨整風，展開反貪污反浪費反官僚主義的嚴重鬥爭，並號召一切指戰員參加這個鬥爭。”12月底，收到譚政關於開展“三反”運動的具體部署後，覺得中南軍區的動作遲緩，立即於1952年元旦凌晨2點覆電中南軍區，要求他們對運動要“嚴加督促，勤加指導，務使每天都有收穫”，並對來電的“不妥之處”作了修改，派專人連夜乘專機將修改稿送到中南軍區，以引起重視。
1月4日，又發出指示，要求各地“縮短學文件的時間（有四五天就夠了），召開幹部會，限期展開鬥爭，送來報告”。並說：“違者不是官僚主義，就是貪污分子，不管什麼人，一律撤職查辦。”在的督促下，“三反”運動在全國迅速展開。進入1月下旬，運動開始向縱深發展，進入打“老虎”（當時，人們稱貪污犯爲“老虎”。貪污舊幣1億元以上的大貪污犯叫“大老虎”，1億元以下、1000萬元以上的叫“小老虎”）階段。
運動進入打虎階段後，特別是在揭露出劉青山、張子善二人的嚴重罪行後，對運動的指導更加重視。
劉、張二人是天津地區的黨政主要負責人。劉青山曾任天津地委書記、石家莊市委副書記。張子善曾任天津專區專員、天津地委書記。在長期的革命戰爭中，他們出生入死，爲中國人民的解放事業作出了自己的貢獻。劉青山爲反抗國民黨的反動統治，曾臥過鐵軌；張子善在國民黨的監獄中，爲抗議反動獄警的迫害，絕過食。但在建國後，他們逐漸放鬆了對自己的嚴格要求，貪圖享樂起來。他們揚言：“天下是老子打下來的，享受一點還不應當嗎？”他們憑藉手中的權力，大肆貪污天津機場建築款、救濟災民款、治河款、幹部家屬救濟款、地方糧款，剝削剋扣民工工資，假借機關生產名義，勾結私商非法經營，共計貪污盜竊、非法牟利數百億元（舊幣）。劉、張二犯的嚴重罪行被揭露後，異常震驚，一連幾天失眠、頭痛，睡不着覺，並對身邊的工作人員說：“還記得黃克功嗎？”又說：“劉青山、張子善同黃克功是一樣的，他們都是個人主義惡性膨脹，做了資產階級的俘虜，不想爲人民服務，而是利用手中的權力欺壓人民。這樣的人不除，我們就不是了！”
在是否嚴懲劉、張二人的問題上，有關部門起初的意見並不一致。有的認爲他們過去爲黨的事業做出過很大的貢獻，應適當從輕處理，不主張判他們死刑。爲此，他們的老上級、時任天津市委書記的黃敬，曾找到專門負責“三反”工作的薄一波，請他去向求情，免劉、張二人一死。
對薄一波說：正因爲他們兩人的地位高，功勞大，影響大，所以纔要下決心處決他們。只有處決他們，纔可能挽救20個、200個、2000個、20000個犯有各種不同程度錯誤的幹部。黃敬同志應該懂這個道理。對劉、張二人的處決，收到了很好的效果。但由於對形勢估計得過於嚴重，在運動的後期，也產生了一些問題。
1952年1月23日，在關於“三反”鬥爭展開後要將注意力引向搜尋“大老虎”的電報中指出：“凡屬大批地用錢管物的機關，不論是黨政軍民學哪一系統，必定有大批的貪污犯，而且必定有大貪污犯（大老虎）。有些人以爲黨的機關，宣傳和文化機關，民衆團體，用錢不多，必無大老虎，這是不正確的。早幾天還以爲中央文教機關一個老虎也沒有，經過最近兩天的尋找研究，就發現至少可以捉到15個貪污1億元以上的大老虎。因此，請你們注意，在每一部門、每一地區三反斗爭激烈展開之後，就要將同志們的注意力引向搜尋大老虎，窮追務獲、不要停留，不要鬆勁，不要滿足於已得成績。”並指出：“在這方面，要根據情況，定出估計數字，交給各部門爲完成任務而奮鬥。在鬥爭中還要根據情況的發展，追加新任務。”1月24日，他又在一份批語中要求“每個大軍區系統（包括各級軍區和各軍）至少有幾百只大小老虎，如捉不到就是打敗仗。地方上每個大省也可能有幾百只，每個大城市可能有一百隻至幾百只，上海可能有上千只。”
在的一再嚴厲督促下，各地打虎的數目開始節節上升。在1月20日以前，中央一級還只承認僅有十幾只大老虎，但到27日，就已捉到和認爲可捉到400只，其中：財經部門200只，軍事部門100只，政法文教和黨的部門100只。這些還都是1億元以上的大老虎。後來，中央一級共查出貪污分子1萬人。
華北局提出，像山西這樣的省應有大小老虎1000只至1300只，其中大老虎應有100只至130只。華北軍區在嚴詞督責下，打虎工作進展迅速，“捉虎甚多”。東北地區到1月26日已捉到500只老虎，查出大小貪污分子16萬多人。到2月初，打虎數目又上升到2000只。
打虎運動也擴展到了農村地區。平原省的武陟縣縣級機關到2月初已清出1000萬元以上的老虎18只。據河北省香河縣9個村的初步調查，有貪污行爲的村幹部，多的達72%，少的佔13%，平均爲33%。最嚴重的地方，9個支部書記中有7個貪污，9個村長中有8個貪污。
各地報來的不斷加碼的打虎數目，不僅使斷定發動“三反”運動的必要性，而且也更進一步使他感覺到問題更加嚴重。他根據各地報來的情況判斷：“每一個小省應有大小老虎幾百只，每一箇中等省和大省應有大小老虎一二千隻至三千隻”。根據這一判斷，他對各地打虎工作提出了新的要求並作了重新部署。
2月4日，在給譚政的電報中指出：“你們1月31日給我的報告所述對各省任務的分配數目都太少，是不合實際的，必須指導他們逐步增加。特別是廣東軍區系統包括海防和各軍在內至少有幾百只乃至上千只大中小老虎，而你們只分配該軍區大老虎20只，中小老虎180只，這是完全不適當的。你們對各省壓力太小，遷就他們的右傾思想，特別對廣東是如此，望注意改正。”
2月5日，在批轉山東分局打虎報告時又指出：“像山東這樣的大省，有黨、政、軍、民、學五個方面，有十幾個大中城市，有很多分區和縣城，1000萬元以上的大中小老虎，應當不是幾百只而是幾千只，不是一二千隻而是三四千只。其中一億元以上的大老虎以1/10計，應當不是幾十只而是幾百只。我提議分局立即召開一次打虎會議，規定打虎數目，限期完成任務。上面每天用電話催督一次，下面每三天用電話或電報彙報戰績一次。軍區系統打虎也不起勁，應由分局負責統一指揮他們。無論何方面，凡打虎不力者應予批判，嚴重者撤消職務。”2月10日，他在中央華北局第三書記、華北軍區副政治委員劉瀾濤“關於華北軍區後勤部‘三反’鬥爭報告”上批示道：“大貪污犯是人民的敵人，他們已經不是我們的同志或朋友，故應堅決徹底乾淨全部地將他們肅清，而不應有絲毫的留戀或同情。”
的嚴厲督促對“三反”運動的迅速展開和深入發展起到了重要的作用，但他對當時幹部隊伍中存在的問題的過高估計和直接下達“打虎”數字的做法，也給基層幹部造成了很大的壓力，從而使運動出現了“過火”的問題。如有的地方出現了逼供信的現象；有的機關幹部都打虎去了，正常的業務工作沒人管了；有些財經機關的幹部因怕當“老虎”，上街是幾個人一起去，跟資本家談話也是幾個人，一個人不敢講，電話一個人也不敢接。有的工作人員爲了表示與資本家劃清界限，對私營企業驗貨的規格搞得特別嚴，標準特別高，“次貨”達到60%~70%，甚至80%。上海有的地方在驗乒乓球時，還要用顯微鏡一個一個地照。有的人索性就不想幹了，提出要調動工作。這些都嚴重影響了正常工作特別是財經工作的秩序。
對“三反”運動中出現的這種過火現象，直接領導財經工作的陳雲很早就覺察到了。2月8日，在政務院第123次政務會議上，他就針對“三反”對農村造成的影響，明確提出：“春耕時節鄉下不能搞‘三反’，這點應該寫在文件上。”陳雲對建國初期財經幹部中存在問題的估計也與不太一樣。他認爲，在財經隊伍中，“貪污的人是有的，但是比例不大。原因就是現在吃穿難，穿上政府的衣服，掛上那麼個牌牌，名譽、前途是要緊的，如果貪污被趕走，就不能在政府裡邊工作了。”
但當時，正處在“打虎”的興頭上，不好直接進言。然而，有問題不向上反映又不是陳雲的一貫風格。於是，他採取了一種迂迴的辦法。2月15日，政務院開完會後，他和負責“三反”工作的薄一波找到周恩來總理，向他反映了“三反”運動中出現的業務停頓等嚴重問題，認爲這一問題到了該解決的時候了，希望周恩來能向反映。
與陳雲等談完話後周恩來當即致信，說：今日政務院會議後，同陳雲、薄一波談到“三反”鬥爭中業務停頓的問題現在已到應該予以解決的時候了。“照中央部門‘三反’鬥爭的情況看來，每個機關各級領導幹部中抽出1/3或1/4的人來專搞業務，是完全可能的，不致於影響‘打虎’工作。”在接到周恩來的信後，於次日凌晨批示：“我完全同意你的意見，請速予調整”。2月22日，在轉發華東軍區黨委關於“打虎”情況的報告時，指出：“目前第一要注意打盡老虎，不要鬆勁；第二注意調查研究，算大賬，算細賬，清查老虎真假，嚴禁逼供信。注意這兩條，就可獲得全勝。”
在得到和周恩來的明確贊同後，陳雲隨即開始了糾偏工作。2月24日，中財委發出指示，要求各級財委和各級財經部門在“三反”運動中抽出一定力量，進行當前必須的業務工作，如貿易、稅收、生產、運輸等，並決定貿易部立即恢復收購土產及加工定貨等工作。3月25日，陳雲簽發中財委致各大區財委負責人電，指出：在“三反”運動中，各地亟須恢復財經業務工作，要隨時掌握動態報告本委，並定期作出綜合報告。4月30日，他在批轉東北人民政府工業部關於第一季度生產情況的簡要報告時，再次指出：“三反”運動的建設階段，是深入民主改革的補課工作，“三反”運動的成果必須具體地表現於經營管理的改善上。
由於及時進行了調整，“三反”運動中出現的財經工作秩序混亂的現象，迅速得到了制止。不僅如此，由於陳雲等的及時提醒，進入3月份後，也不再直接向各地下達“打虎”指標。4月以後，又開始佈置“收兵”，準備結束“三反”運動。從而也就使“三反”運動中出現的過火現象，沒有再進一步擴大。
陳雲爲人雖然一向平易近人，但在事關黨的原則問題上，在事關黨的事業成敗問題上，在黨的思想作風問題上，他和一樣，毫不含糊，決不做老好人。他總是旗幟鮮明地與危害黨的思想、行爲進行不妥協的鬥爭，堅決地扞衛黨的根本利益、根本原則。
1939年5月，他發表了《怎樣做一個員》等文章，對遵守黨的紀律問題做了專門的論述。他在總結了建黨以來的經驗教訓後，指出：18年來的黨的鬥爭經驗，證明了紀律是執行黨的路線的保證。他說：我們黨要領導無產階級及勞動人民爭取徹底的解放，這不是容易的事。革命勝利的基本條件之一，就是要使無產階級的黨成爲有組織的統一的部隊。只有有組織和統一纔是我們的武器，纔是我們的力量。要保障我們黨能有組織和統一，這就需要有嚴格的紀律。他引用列寧的話說：“無產階級的無條件的集中和嚴格的紀律，是戰勝資產階級的基本條件之一。”在他看來，紀律是中國不可缺少的重要武器。只有運用這個武器，才能保證黨的意志和行動的統一，保證黨在政治上、思想上、組織上、行動上的統一；才能團結廣大人民羣衆，認真貫徹執行黨的路線方針政策，推動中國革命向前發展。否則，非但什麼事情都幹不成，還可能斷送革命。
1942年3月，他在中央文委召開的黨的文藝工作座談會上，在談到遵守紀律問題時又說：可否不要紀律呢？如果不要也可以，那就是講的6個字“亡黨亡國亡頭”就一定不可避免。我們黨是一支戰鬥的黨，依靠的武器，惟一的就是紀律。
遵守紀律不是一句空話，而是要落到實處。陳雲認爲，只有迅速確切地執行黨的決議，纔算是真正執行了紀律。這是爲什麼呢？他說：這是“因爲黨所規定的‘個人服從組織，少數服從多數，下級服從上級，全黨服從中央’，無非是用這樣的民主集中制來作出黨的決議，統一黨的意志和行動。這個決議，這種紀律就不僅是口頭上的贊成，而要在實際上去執行。那麼，爲什麼要‘迅速確切’地執行呢？因爲要考驗你在實際工作中執行決議是拖延的，敷衍的，甚至故意歪曲的，還是真正忠實執行的。黨決不允許任何黨員在黨的決議面前有‘陽奉陰違’的兩面派態度。”
要能真正執行黨的紀律，必須心口一致、言行一致。陳雲指出：員必須言行一致，這是黨規定的。違反了這一條，就是違反了黨的紀律。他說：口頭上說要遵守紀律並不難，困難的是在實際行動上真正遵守黨的紀律。我們要求的是會場上這樣說，散了會私下裡也這樣說，不但這樣說也要這樣做。他指出：“黨不僅在課堂上要教育黨員遵守紀律，而且要在每個具體違反紀律的問題上給以紀律的教育。”他強調：“不管你是中央委員，還是一般黨員，不管你是老黨員，還是新黨員，都要遵守紀律”。“不管是中央委員會，還是支部委員會，都要遵守紀律。一句話，黨內不準有不遵守紀律的‘特殊人物’、‘特殊組織’。遵守紀律首先要從自己做起，要與黨內一切破壞黨紀的傾向作鬥爭，但尤貴於與自己破壞黨紀的傾向作鬥爭。”
陳雲還指出：遵守紀律一定要體現在具體的實際的工作中，要在各種具體情況下遵守。他進一步解釋說：我們說要服從真理、服從革命，贊成的人一定很多的；要服從無產階級、服從，贊成的也不少，再說要服從黨中央、服從，也比較容易；但是說要服從支部、服從直接上級，就發生了困難。爲什麼？因爲這種人只能抽象地遵守紀律，不能具體地遵守紀律。具體地服從紀律，就一定要服從支部，服從直接上級，即使上級的人比你弱，你也一定要服從。做不到這一點，我們黨就要垮臺。因爲假如誰都覺得自己本領強，自己意見對，沒有一個約束，結果誰都覺得自己本領強，不服從別人，黨的統一就完全沒有可能了。“一個真正能自覺遵守紀律的好黨員，就在於他能在實際行動和日常生活的每個具體問題上表示出自己是堅決地遵守鐵的紀律的模範”。遵守紀律的重要，恰恰是在自己意見不被通過的時候，或者是有關自己的問題的時候。
1942年下半年，黨中央爲了加強東北抗聯和地下黨的領導，由組織部挑選了177名幹部，決定補派到東北去開展羣衆工作。這個時候的敵後環境變得更爲惡劣，願意主動到敵後去的很少。當組織部找這些人談話時，除少數表示服從分配外，大部分都以各種理由進行推脫，有的說這次不去下次去，有的以家屬有病不能去爲由拖延時間。經過做工作，仍有6個人堅決不接受分配。陳雲找他們談了話，嚴肅地批評了他們所犯的錯誤，要他們遵守黨的決定，並指出他們用各種方式拒絕接受黨的決定，不僅是對工作討價還價的錯誤，而且還是一種政治上的動搖。他警告他們，黨的決議不能全靠自覺，還必須強制執行。最後對這6位堅持不去的幹部給予了紀律處分，將他們由正式黨員降爲候補黨員，其中有一個給予了撤消工作的處分。其他多數人以嚴肅態度接受了分配，中央委員會決定給以表彰，除在黨表上登記外，並在全黨公佈，中央組織部還在1942年10月2日給每位同志寫了一封表揚信。
對於違反黨的紀律的行爲，不管他的地位有多高，資格有多老，陳雲都敢於毫不留情地進行抵制與批評。他對王明違反黨的組織原則的霸道做法所進行的鬥爭，就是很好的例子。六屆六中全會後，王明回延安任中央統戰部部長，兼女子大學校長。那時，有不少要求進步的女青年奔赴延安，投身革命。中央組織部把這些青年大部分介紹到“女大”學習，畢業後分配到各地、各部門，或做婦女工作或做其他工作。開始兩期學習結業的學員，都是按照規定的原則，由中組部分配一部分給中央婦委，請他們分配做婦女工作，絕大部分由中組部根據需要情況，分配到黨政軍各部門及地方黨委工作。但是後來這種分配原則行不通了，因爲王明決定在“女大”學習結業的所有學員，都由他直接分配。對這種不合理的事，中組部幹部科根據原則與“女大”具體負責的同志交涉，無效。他們聲稱這是王明校長決定的。陳雲得知情況後，給王明寫了一封信，請他改變決定。但王明堅持己見，聲言他是“女大”校長，有權這樣做。於是幹部科的負責人建議：如果“女大”不改變做法，那就不再介紹女青年去“女大”學習。陳雲經過思考後說：“我同意你們提的這個意見和辦法，你們再和（李）富春（李時任中央組織部副部長）談一下，如果他也同意，就照此辦理。”李富春也同意這種做法。因此，在隨後的日子裡，中組部對到延安的女青年就很少介紹去“女大”學習，而直接介紹去陝公、抗大、魯藝、黨校、自然科學院等院校學習。這樣，“女大”的學員來源就成了問題。爲此，王明親自到中組部找陳雲。王明先是氣勢洶洶地說：中組部不向“女大”介紹學員是不合理的。當時，王明仍自恃得到共產國際的支持，常以黨的當然領袖自居，認爲誰也不能違揹他的決定。陳雲平靜地對他說：這事我知道，併爲這事給你寫過信，說明從黨的事業發展考慮，我們各方面都需要大批女幹部。你說軍事部門不需要嗎？他們的機要部門、醫務部門、政治工作部門，不是大量需要女幹部嗎？你能不知道黨的宣傳部門、組織部門、政府各行政部門都需要大批女幹部嗎？各省各地的黨委都是清一色的“陽性”，好嗎？“女大”的學員畢業後，中組部的分配方案是按一定的比例交給中央婦委分配做婦女工作的，此外就根據黨政各方面的需要分配，這是從黨的事業考慮的分配原則。現在女大畢業生的分配，不能根據黨的事業的需要分配，因而中組部不能再介紹女青年到“女大”學習，是完全從黨的事業發展考慮的。從形式上看，我們不再向“女大”介紹學員，好像是“不合理”的，但是這種從黨的事業角度出發，採取的不得已的不合理，對待你老兄那個違反黨的利益、黨的原則的不合理，這樣才能求得一個比較的、相對的合理。王明聽到陳雲這一番不軟不硬的回答，只得說：那好吧，就按組織部的辦法，但是你們分配時一定要給中央婦委一個大的比例。見王明是如此態度，陳雲也就直率地說：好，你既已同意，就一言爲定，過去對“女大”學員的分配，就是照顧婦委的需要，有一定比例交給他們分配工作的。不過最後我還想向老兄進一言：你在國外太久了，你回來後無論出什麼主意，最好先了解一下黨的組織原則和各方面的情況，免得和各部門“卡殼”。那麼高的威信，他對一切重要的事，也都是多方聽取意見，才作出決定的。王明並不想聽這些話，很快就告辭了。陳雲回到辦公桌旁，還在自言自語：無論是誰，在黨內不按黨的原則辦事，搞霸道主義絕對不行！
對普通黨員違反黨的紀律的行爲，陳雲也是堅持原則，輕則給以批評教育，重則給予紀律處分，直至開除出黨。抗日戰爭初期，絕大多數到延安的知識青年，經過短暫的培訓後，紛紛要求到前線去參加建立抗日根據地的火熱鬥爭，沒有被批准的，還要做思想工作。進入相持階段後，情況不同了。由於日本侵略者逐漸把主要力量用於攻擊領導的八路軍和新四軍，抗日前線的環境變得異常艱苦，有些到延安經過培訓後的黨員開始不願到前線去，到敵後根據地了。中央組織部的同志，甚至陳雲本人經常要做這部分人的思想工作。絕大多數同志經過做工作後，都能服從分配，到前線去，到敵後根據地去。但也有個別人無論怎麼做工作就是不服從分配，劉力功就是一個。
劉力功原是一個沒有實際工作經驗的新黨員，在中央組織部黨員訓練班培訓畢業後，組織上決定分配他到基層工作，他表示不同意，堅持要進馬列學院或回老家去工作。這本是他應該享有的權利。但組織部經過反覆考慮後，仍然決定派他去基層鍛鍊，他不同意，並威脅說，如果組織上不同意他的要求，他就退出黨的組織。
黨組織爲了幫助他，先後同他談了七八次話，陳雲也親自找他談過話，做他的思想工作，但劉力功還是不幹，堅持不去基層工作。黨組織考慮，馬列學院是黨培養高級人才的地方，不能接受劉力功這樣的思想意識極端錯誤的人；如果派他回老家去，只是滿足了他個人的家庭觀念，於當地的工作非但沒有好處，反而會有害。所以無論如何不能滿足他的這兩個要求。
最後，黨組織在反覆研究的基礎上，決定派劉力功到華北敵後根據地去做基層工作，並告訴他，“個人服從組織”這是黨的紀律。這時，劉力功提出了條件。他說，一定要讓他到華北去，就要到上層機關工作，到八路軍總部工作。陳雲聽後很生氣，他把劉力功找來，對他說：“你非要到上層工作，就在延安山頭上開荒去吧！”陳雲還警告他說：如果你堅持不服從分配，黨組織就要處分你，甚至開除你。
中央黨務委員會根據劉力功仍然不服從組織決定的事實，從維護黨的紀律的嚴肅性出發，認爲劉力功的行爲違反黨紀，本人又拒不接收組織上和同志們的批評教育，不願改正錯誤，應該堅決開除他的黨籍。中央黨務委員會將這個議案提交到中央組織部部務會議上進行討論，作出了開除劉力功黨籍的決定，並公佈全黨。陳雲認爲劉力功的問題帶有典型性，既是個人利益第一，不願到艱苦環境去，又是要求有條件遵守黨的紀律。他緊緊抓住這個典型，組織全黨討論，進行一次活的黨性黨紀教育。他還專門寫了一篇題爲《爲什麼要開除劉力功的黨籍》的文章，發表在1939年5月黨的機關刊物《解放》上，在全黨引起了很大的反響。
在原則問題上毫不讓步，但在幹部碰到具體問題和困難時，陳雲又十分注意愛護他們。在延安時，有一位幹部被人錯誤地指控爲託派，被開除了黨籍。這個幹部向中組部提出申訴，並提供了4個證人，有一個還在國外。陳雲要有關部門一一寫信去調查，用兩個月時間，終於查明這個幹部是冤枉的。陳雲針對這件事說，解決一個幹部的問題，關係到他的政治生命的時候，要很鄭重、很謹慎、很細心。用兩個月時間挽回一個幹部再值得沒有了，因爲兩個月絕對培養不出一個幹部來。
對於潘漢年冤案，陳雲曾多次提出應重新審查。1979年，他因病要動一個大手術，手術前，爲了防止不測，他專門爲此事給中央的負責同志寫信，希望抓緊複查。此事經陳雲的一再過問，終於很快有了結果，潘漢年同志獲得了徹底的平凡。十一屆三中全會後，由於積極貫徹“兩個凡是”方針而犯錯誤的幾位領導人，檢討總過不了關。陳雲在一次中央全會上指出：“我不贊成這樣對待犯錯誤的同志扭住不放。這種檢討沒有完沒有了的情況，我認爲不是黨的好作風。”由於陳雲講了話，這幾位領導人才過了關。
當然，愛護幹部不是不講原則，甚至是對他們的錯誤進行包庇，不進行必要的批評，不講原則地所謂愛護，實際上反倒是害了幹部。陳雲說過：“愛護幹部主要是政治上的愛護，幹部犯了三分錯誤，你將他當成十分，這是不對的，但完全不批評縱容錯誤也不對。如果犯了錯誤不處罰，這樣就不能教育他，也不能教育同志。”陳雲對王明錯誤做法的批評和抵制以及他對劉力功等人錯誤行爲的處理，就既體現了他對幹部的愛護，又體現了他對錯誤行爲進行堅決鬥爭的原則態度。
改革開放後，黨的建設面臨着新的形勢和新的任務。陳雲在一次中紀委的全會上指出：“在黨內，忽視精神文明建設，忽視思想政治工作，就不可能有好的黨風；在社會上，忽視精神文明建設，忽視思想教育，就不可能有好的社會風氣。”“不加強思想政治工作，不嚴格執行黨紀、政紀，黨風、社會風氣就不可能好轉。”因此，他指出：紀律檢查部門，不應只是對違反黨紀的，按照黨章黨法進行紀律上的處理，而且應該以那些違反黨紀的事例，在黨內進行政治思想教育工作。黨的紀律檢查部門，“只是查處違法亂紀的案件不行，更重要的是加強員的黨性教育。”“對外開放，不可避免地會有資本主義的腐朽思想和作風的侵入。這對我們社會主義事業，是直接的危害。”他明確提出：“執政黨的黨風問題是有關黨的生死存亡的問題。”他指出：“紀檢工作應當研究新情況，適應新情況，黨性原則和黨的紀律不存在‘鬆綁’的問題。沒有好的黨風，改革是搞不好的。不論在地下黨時或在執政時期，任何時候都必須堅持黨的紀律。”他強調：“社會主義事業不可能是單純的物質文明建設……社會主義事業也不可能先進行物質文明建設，然後再來進行精神文明建設”。“忽視社會主義精神文明建設，我們的整個事業就可能偏離馬克思主義，偏離社會主義道路。”他認爲：“社會主義精神文明的建設，關鍵是執政黨要有好的黨風。要加強員的素質”。“對嚴重的經濟犯罪分子，我主張嚴辦幾個，判刑幾個，以至殺幾個罪大惡極的，雷厲風行，抓住不放，並且登報，否則黨風無法整頓。”
陳雲善於傾聽不同意見，並很注意保護提不同意見的幹部。爲了鼓勵大家提意見，他總是對同他談話的幹部說：在他面前說話，“左”可以“左”到“左傾機會主義”，右可以右到右傾機會主義；“姜太公在此，百無禁忌”。他說：“一個人說話有時免不了說錯，一點錯話不說那是不可能的。在黨內不怕有人說錯話，就怕大家不說話。”“如果員不能進行批評與自我批評，大家見面都是哈哈哈，我看人們就不會參加革命了，也不會願意當這樣的員了。”
陳雲指出：我們當然應當做到儘可能不犯或少犯錯誤，尤其不能犯大的錯誤。同時他又指出：只要是人就有可能犯錯誤，犯錯誤本身並不可怕，可怕的是不能在犯了錯誤後多做批評和自我批評，不能從所犯的錯誤中吸取教訓，以避免將來犯同樣的錯誤。
陳雲強調：執政黨多做自我批評更爲重要。1939年12月10日，他在出席陝甘寧邊區黨的第二次代表大會時，說：現在我們和以前不同了，在根據地內是當政的黨。現在我們吃得開了，在邊區這個地方，可以做官了，區長有，縣長也有。我們這裡完全是一個當政的。“我着重地說，領導着政權的黨、領導着軍隊的黨，自我批評更重要。因爲黨掌握了政權以後，犯了錯誤更直接更嚴重地損害羣衆利益。黨員違反了紀律，特別容易引起羣衆不滿。你有槍，又當權，羣衆看到了也不敢講。”
陳雲指出：開展批評和自我批評，首先要從領導做起，檢查自己有什麼缺點，有什麼錯誤。先檢查自己，批評自己，不能只說下面不好。如果工作出了毛病，作爲領導者，自己應首先承擔責任，不能上推下卸，諉過於人。一般說來，看別人的毛病比較容易，看自己的毛病比較難。領導者本來有責任，但不批評自己，光批評別人，這種批評便沒有效力，別人是不會接受的。
批評和自我批評十分重要，但如何開展正確的批評和自我批評呢？陳雲認爲，開展批評和自我批評首先是應該遵守“三原則”和“三要”，即：“要從維護黨的利益出發，要堅持原則，要實事求是”；“要採取客觀態度，看問題要全面，要看本質，不要只看局部只看現象。”他認爲，開展批評，要從維護黨的利益出發，錯了就是錯了，一定要進行批評。但態度要誠懇，要客觀看待所犯的錯誤，不能隨心所欲地亂批一通。他要求批評人家錯誤的時候，要指出人家錯誤的根源以及糾正方法。批評的目的並不是出氣，主要是在於真正幫助人家糾正錯誤。一般地說，批評有兩種態度，第一種是氣勢洶洶地指責人家；第二種是和顏悅色地說服人家，善意指出犯錯誤的原因和糾正的辦法。只有後一種態度，才能使被批評者心服意滿，問題才能真正解決。
在進行批評和自我批評時，還必須堅持黨的組織原則，也就是堅持黨的民主集中制原則。陳雲指出：不經過大家交換意見，是不可能集中的，形式上集中了，也難免出錯誤。不然愈不能集中，多交換意見，反而容易集中。核心領導只有經過嚴格執行民主集中制，並在實踐中經過考驗才能建立起來。民主又必須集中，個人意見不被採納，不能生氣，也不能不尊重集中的決定。每個黨員都有在黨內發表意見討論問題的權利。但又有必須服從決定、積極工作的義務。遇到不如意的事和人，就不幹工作，或在言論上行動上消極，這是不對的。遵守紀律的重要，恰恰是在自己的意見不被通過的時候，或者有關自己的問題的時候。
開展批評和自我批評必須堅持講真理，不講面子，反對自由主義。1945年，在黨的七大上，陳雲在發言中說：我們要講真理，不要講面子。是什麼就是什麼，應該怎樣就怎樣。有的時候你愈要講面子，將來就愈要丟臉。只有你不怕丟臉，撕破了臉皮，誠心誠意地改正錯誤，那時候也許還有些面子。員參加革命，丟了一切，準備犧牲性命幹革命，還計較什麼面子？把面子丟開，講真理，怎樣對老百姓有利，怎樣對革命有利，就怎樣辦。他進一步強調說：如果一切從自己面子的角度出發，討論問題、看問題摻雜個人得失在裡邊，立場不正，就不會看得很清楚，不會講真理，結果一定害人害己。
陳雲本人就是做自我批評的模範。延安整風運動中，他結合自己在土地革命戰爭時期經常犯“左”傾錯誤的教訓，虛心向請教，在的建議下，他認真學習了哲學着作，從思想認識的高度剖析、檢查了犯錯誤的根源。1948年4月，他又主動向中央承擔了遼東地區土改工作中犯“左”傾錯誤的責任，認爲“土改工作中的錯誤，主要由我負責，因我是負責指導土改的。”“大躍進”運動中，在對“反冒進”的一再錯誤批評下，陳雲雖然想不通，但爲了顧全大局，仍多次作了檢討，直到本人也對錯誤已有一定認識的情況下，他仍然是在做檢討，始終堅持承認、擁護的領導地位。而且這些檢討都是誠心誠意的，並不是言不由衷式的虛與委蛇。陳雲這樣做並不是不堅持原則，而是爲了顧全大局，這也是黨的紀律所要求的，即對黨的領導人所犯的錯誤只能通過正常的、合法的途徑來解決。在全黨還未認識或一時還無法進行糾正的情況下，只能先服從黨的決定，然後在具體的工作中，通過自己的努力，力爭使錯誤的嚴重程度降到最低點。
陳雲始終堅持反對把黨內的同志關係庸俗化，他一貫帶頭抵制請客送禮的不正之風。他給自己立過一個不收禮的規矩，並要求工作人員，凡是有人來送禮，都必須向他彙報，不得擅自收下。他還曾專門向秘書交代：“不收任何人送的禮品，外賓送的禮品都要上交。”1949年進北京後，一次，貿易部的一位負責人送給陳雲一塊自動手錶，說是給他“看看”。因爲陳雲的事務很忙，這件事就暫時擱下了。兩三天後，陳雲突然想起來，說：“我已經看好了，讓他們把表拿回去吧。”那位負責人只好把表拿回去了。20世紀80年代的一個秋天，一個大軍區的兩位負責人來到他的住所，向他彙報一次軍事演習的情況，並隨身帶了當地產的兩盒葡萄。當他們彙報完起身告辭時，陳雲讓他們把葡萄拎走。他說，我是中紀委書記，不能收。他們解釋說，這值不了幾個錢，不是送禮，只是讓他嚐嚐。陳雲說，那我吃10棵，叫“十全十美”，剩下的你們帶回去。他喜歡聽評彈，一次，他讓秘書請上海人民廣播電臺替他錄兩個評彈段子，說完即拿出兩盒空白錄音帶，要求交給他們。他曾幽默地開玩笑說：“如果主席、總理給我送禮，我就收，因爲他倆沒有求我的事兒。”他的文選出版以後，秘書請示稿費如何處理，他說全交黨費。秘書建議先存起來，將來捐給學校或某項事業。他接受了這一建議，並先後給新成立的北方曲藝學校和希望工程捐了款。
“不接不送，不請不到”是陳雲待人接物的座右銘。逢他出差，都不準當地領導前來迎接或歡送。他說：“大家都挺忙，走那形式幹嘛！”他的作風是“沒事別來，有事說事。如果電話中把事辦了，就別跑腿了”。
有一次，陳雲到外地視察工作，回來時，當地領導看到陳雲連日找人彙報工作，還到處參觀考察，很是辛苦，身體本來就不很好，但卻又不準提高伙食標準，於是就派人送給他兩隻老母雞和一些蔬菜帶回北京吃。直到火車快開動時，工作人員才發現了禮物，趕忙根據陳雲處理禮品的一貫原則，要來人將禮物帶回去。但來人推說，東西不貴，又是當地領導共同商定的，並說保證中央領導同志的身體健康，他們也有責任等。工作人員說服不了來人，只好向陳雲做了彙報，並建議是否可以按市場價把東西買下來，否則叫他們拿回去，面子上也說不過去。陳雲聽後果斷地說：不能開這個先例，有第一次，就會有第二次，以後就阻止不住了。還是請他們把東西帶回去，要和他們說，他們的心意我領了，但東西我不能收。來人見陳雲的態度是這樣的堅決，只好將東西帶回去了。
還有一次，一位1946年在東北時曾在陳雲領導下工作過的軍事領導幹部，來北京開會，帶來一箱蘋果讓警衛開車送給陳雲。陳雲身邊的工作人員向來人說明了陳雲對待禮物的一貫態度，並希望他能將蘋果帶走。但這位警衛卻說，蘋果是首長讓送給陳雲的，現在既然送到了，就算完成了任務，決不能再將蘋果帶回去。工作人員問他住在什麼地方，他也不肯告訴，於是只好請示陳雲如何處理。陳雲聽完彙報後，對工作人員說：1946年在東北時，這位同志在軍隊工作，很能打仗。全國解放後，我們已很久不見了。不過我不能收他的東西，你要趕快打聽他來北京開什麼會，住在什麼地方，一定要把蘋果送給他，並且告訴他，他的心意我領了。工作人員經過多方打聽，終於查到了那位領導人的住處，把蘋果給送了回去。
在黨的建設上，和陳雲還十分注意無產階級革命事業接班人的培養。
對接班人問題的考慮是從很早的時候就開始的。早在1953年底，他就提出在中央領導班子中設一線、二線的設想。這實際上可看作是他最初對接班人問題的思考。然而，這一設想由於高崗、饒漱石陰謀篡奪黨和國家更高領導權的活動的干擾而未能實現。但並未因此而放棄對培養接班人問題的重視。如前所述，八大召開前夕，他提出通過設立黨的副主席和總書記的辦法來起“防風林”的作用，以防備不測事件的發生。大會期間，他在會見南斯拉夫同盟代表團時說：我老了，不能唱主角了，只能跑龍套，而唱戲的則是、周恩來、鄧小平等同志。黨的八大通過的黨章規定在必要時設黨的名譽主席。這一職位實際上就是爲將來正式退居二線而設立的。
1957年4月，對民主黨派負責人和無黨派民主人士談話時，表示要辭去國家主席，以便集中精力研究一些重大問題。
1958年12月，在黨的八屆六中全會上，再次就辭去國家主席一事作了說明。他說：個人要隨時準備有滅亡的可能。辭去國家主席，是爲了積極奮鬥，而不是臨陣脫逃。這件事一定要向羣衆宣傳、解釋清楚，以免被動，犯錯誤。這一想法事實上已涉及到社會主義國家民主制度的建設和保障問題了。事實上，早在1957年底到蘇聯訪問對中國留蘇學生作演講時，就說道：你們是點鐘的太陽，世界是我們的，也是你們的，但歸根到底是你們的。在與赫魯曉夫談話中則說：他準備辭去國家主席的職務，並逐一評價了、周恩來、朱德和鄧小平等領導人。1961年對來訪的英國元帥蒙哥馬利說：我的接班人第一是，第二是鄧小平。1964年2月，在接見柬埔寨駐華大使時說：西哈努克親王正在解決他的繼承人問題，這個辦法好。我們黨早已決定接替我的人，你們知道嗎？
不僅在理論上十分重視接班人問題的解決，而且還提出了一系列培養和選拔接班人的具體原則和方法。1964年６月，在十三陵水庫召開的中央政治局常委和大區書記會議上正式提出了關於選拔接班人的五個條件，即：（1）要搞馬列主義，不要搞修正主義。（2）要爲大多數人民謀利益，不爲少數人，不爲剝削階級。（3）要能團結大多數人。（4）要有民主作風，不要“一言堂”，不搞家長作風。（5）自己有了錯誤，要作自我批評。這些思想在《關於赫魯曉夫的假及其在世界歷史上的教訓——蘇共中央的公開信》中得到了進一步闡述。
但是，在選擇和確立接班人問題上也出現過嚴重的失誤，主要是靠個人而不是靠制度來選擇和培養接班人，這種做法的主觀隨意性較大，容易受諸多不確定性因素的影響。正如鄧小平指出的那樣，“一個領導人，自己選擇自己的接班人，是沿用了一種封建主義的做法。”這說明在身上還存在着“家長制這些封建主義性質的東西”。
陳雲從選擇接班人的教訓以及無產階級革命事業後繼有人的戰略高度出發，提出了選擇和培養接班人的一系列重要觀點，主要有：一定要堅持“德才兼備，以德爲主”的原則和標準，要使幹部隊伍實現革命化、知識化、專業化、年輕化；要成千上萬地大批培養，要靠集體交接班；培養接班人要有緊迫意識，老幹部第一位的事情就是選擇和培養接班人，對年輕幹部不要求全責備，要扶上馬，送一程；接班人的選拔和培養要搞梯隊建設，要讓年富力強的中青年人在各級機構中當“後排議員”，在工作實踐中培養和鍛鍊他們的能力，等等。陳雲本人更是帶頭身體力行，在黨的十三大上和其他老同志一起退出了黨的核心領導機構。