隊，他都沒有自己的嫡系，但葉劍英的人緣較好，與許多老幹部都保持着良好的關係。比如陳毅，王守江回憶：「陳老總喜歡到葉帥這裏來講他出國的見聞，有時打電話來，說『下個星期我要到你那裏吃狗肉』，葉帥就讓我們趕緊準備。」
但這樣的氣氛隨着「文革」的來臨而逐漸蕩然無存。「文革」一開始，葉家子女中，先是女兒葉向真和女婿劉詩昆被抓，後來兒子葉選平、葉選寧、女兒葉楚梅與女婿鄒家華都相繼被逮捕。
1967年，被「上海幫」激怒的葉劍英一拍桌子將手拍得骨折。―不過王守江糾正了一個細節:「很多文章想當然地寫成是右手骨折，他們不知道葉帥是『左撇子』，是我帶葉帥去的醫院，骨折的那隻手肯定是左手。」
1976年2月2日，中央發出「一號文件」，確定華國鋒任國務院代總理，並主持中央日常工作;而鄧小平則被停止主持中央領導工作，只管外事；葉劍英由於「身體原因」，由陳錫聯「負責主持中央軍委的工作」。
王守江回憶，從那時起，仍保留常委的葉劍英大多參加一些中央的會，而軍隊的事情則基本不再介入。
毛澤東的這項決定也使得陳錫聯與葉劍英的關係陷於微妙。10月14日，陳錫聯夫人王璇梅憶及此事時說，當時「陳錫聯奪了葉劍英的軍權」的傳言一度很盛。聽說葉劍英想退出北京到廣州居住，有一次陳錫聯還專門打電話：「葉帥你不能去廣州。「
葉劍英聞之有些生氣:「你怕我搗鬼嗎？我如果想搗鬼的話在哪裏不能搗？」覺得自己被誤解的陳錫聯告訴夫人:「我留葉帥在北京，是想在政治局裏能多留一票啊。」王璇梅感慨，那時在中央工作的環境實在太複雜了。
而在那時，被稱為「四人幫」的「文革派」，與老幹部之間的矛盾已愈演愈烈且日益公開。王守江回憶，那時身為軍委辦公會議成員的張春橋分管海軍，但海軍司令員肖勁光根本不買張春橋的賬，兩三個月也不向他匯報。
有一次張春橋開會批評海軍，批了一上午，肖勁光一聲不吭，葉劍英也不發表意見，到了中午散會，肖勁光徑直走到葉劍英面前，只跟他告別，好像其他人根本不存在，這讓一旁的張春橋很是尷尬。
4月中旬，主持中央工作的華國鋒建議葉劍英參加一些中央的工作。於是，葉劍英又開始在公眾面前露面了。4月27日，他出席了慶祝民主柬埔寨國家獨立一周年的招待會。
5月1日白天和晚上，分別參加了首都群眾慶祝勞動節的遊園活動和焰火晚會。5、6月間，葉劍英先後會見了巴基斯坦、法國、朝鮮等國家軍方來訪的領導人和其他貴賓。重新進入權力中心的葉劍英，便成了許多老帥們扳倒「文革派」的期望。
與葉劍英在黃埔軍校時期就結識的聶榮臻，特意從城內來到西山，與葉劍英相鄰而住，兩人頻繁交談。而肖勁光、粟裕、宋時輪、楊成武、蘇振華等軍隊的高級將領們，都先後來到葉劍英住處，長期建立起來的信任使他們直接在葉劍英面前表達他們對這四個「上海幫」的不滿。
據《葉劍英傳》記述，大多數時間，葉劍英是只聽不說。只是偶爾，他才會流露一點點內心的想法。有一次，以脾氣火暴、性情直爽著稱的王震來到西山，在談到「四人幫」時說:「我看，乾脆把他們幾個抓起來，問題不就解決了！」
葉劍英沒有明確表態，他只是向王震做了一個手勢：伸出一隻手握成拳頭，豎起大拇指向上晃了兩晃，然後把大拇指倒過來向下按了按，意思是說現在毛澤東主席還在世，投鼠忌器，解決「四人幫」問題的時機還不成熟。
在「四人幫」倒台後，關於這一段歷史的描寫，大多有葉劍英與李先念在9月間數次頻繁而秘密會面的細節。但王守江與馬錫金謹慎地表示，他們能確切回憶葉、李之間的會面並不在9月而是4月。
一天，葉帥辦公室突然接到李先念的衛士打來的電話，告知李先念就在西山附近，想順路過來看葉帥。王守江和馬錫金回憶，葉劍英起初猶豫着是否見面，後來還是答應了。
他讓下面的人抬了兩把椅子到院子裏，10分鐘左右，穿着風衣的李先念如約而來。王守江說，如那些正史與野史之描述，兩人見面後的確有過這樣一番對話――
葉劍英問:「什麼風把你吹過來了？」
李先念答:「無事不登三寶殿。」
或許是出于謹慎，葉劍英本來只想在院子裏接待李先念，但後
