胡耀邦被逼辭去總書記職務，主要是一批元老直接操縱。1986年5月，作為元老代表的鄧小平約胡耀邦到家中談論中共十三大人事安排。胡耀邦說：「我已年過70了，十三大一定要下來。」鄧小平說：「我、陳雲、先念都全下。你要下就半下，不再當總書記，而再當一屆軍委主席或國家主席，到時候再說。」
1986年8月22日，鄧小平過81歲生日，在北戴河設宴，表示在兩年後的中共十三大上全退，胡耀邦信以為真。10月，他在中共中央政治局會議上公開表態，說「今天我就十分具體和坦白地講，我贊成小平同志帶頭退下來，這是一個很好的帶頭。只要小平同志退，別的老同志的工作就好做。我的總書記任期滿了，也下來，充分給年輕的同志讓路。」胡耀邦的講話得到了國務院副總理萬里、中共中央書記處書記楊得志、全國人大副委員長聶榮臻、倪志福和國家副主席烏蘭夫的贊同，中央書記處書記習仲勛還在會上發表了支持胡耀邦的講話；卻招致王震等人的反對。這番話實際上胡耀邦被逼辭職的導火線，自此之後胡耀邦的權力被削弱。
1986年10月，鄧小平把十三大人事主導權交給了中顧委副主任薄一波，安排由薄一波等7人組成小組（薄一波、楊尚昆、宋任窮、姚依林、王震、伍修權、高揚）分頭徵求黨內對十三大的人事安排意見。
1986年12月，中國科學技術大學開始的學潮蔓延到北京，中共元老將學潮的爆發歸咎自由化知識分子煽動、以及胡耀邦的縱容；而此前1985年5月10日，香港《百姓》雜誌陸鏗在中南海訪問胡耀邦，將採訪內容整理成《胡耀邦訪問記》發表在同年6月出版之《百姓》半月刊上，被中共保守派和既得利益集團視為縱容資產階級自由化的罪證之一。
1986年12月30日，胡耀邦打算召開政治局常委會，討論中央書記處關於處理學潮的意見；鄧小平不同意開會，並要胡耀邦到他指定的地點談話。鄧小平認為學生運動是「幾年來反對資產階級自由化思潮旗幟不鮮明、態度不堅決的結果」，並責問胡耀邦「你難道沒有責任？」胡耀邦回答說：「我保留我的意見。」鄧小平說：「不是保留，而是要你馬上站出來堅持四項基本原則，否則就放任了資產階級自由化。」
1987年元旦，《人民日報》發表社論，強調四項基本原則的重要性，抨擊資產階級自由化，這被認為是為群眾做思想準備。當夜，在鄧小平家裏，陳雲、薄一波、彭真、王震、宋任窮等中共元老商議胡耀邦的去留問題。1月6日，中共中央發佈以鄧小平關於處理學生示威指示要點的一號文件；同日，鄧小平通知胡耀邦參加「黨內生活會」。
1987年1月10日-15日，由中顧委副主任薄一波主持召開的「黨內生活會」上，元老們連續幾天指責胡耀邦的「問題」；鄧小平與陳雲因地位太高不宜出面，國家主席李先念因在上海沒有參加。胡耀邦在生活會上首先作了檢討，承認自己有「錯誤」，但試圖做出一些辯解。之後胡耀邦遭眾人輪流批判。薄一波認為胡耀邦到基層視察的次數太多、地區太廣，指責他是在「游山逛景，譁眾取寵」；楊尚昆和王震指責胡耀邦站錯路線（即資產階級自由化）；宋任窮批判胡耀邦對鄧小平的態度。鄧力群通過五個小時的發言痛斥胡耀邦的作為，稱胡耀邦對四項基本原則和反精神污染運動關注不夠、沒有做到團結全黨、主要使用跟自己觀點相同的人、在重要的人事任免上沒有遵循老領導的意見等。被胡耀邦視為朋友的王鶴壽也落井下石將其私人講話公開。在這次生活會上，只有中共政治局委員兼中央書記處書記習仲勛支持胡耀邦，斥責元老們動用文革式手段逼總書記下台是不正常的、是違反黨的原則的。
在1月15日生活會結束前，胡耀邦作了最後的檢討，表示為自己的全部錯誤承擔責任。要求組織繼續調查自己是否真有野心，是否搞過派系。生活會結束後，有人看到胡耀邦在會議廳的台階上黯然落淚。最終，在連續七天的批鬥之下，政治局於1月16日召開擴大會議。陳雲在會上說，胡耀邦「沒有把工作做好」，「讓一百多個部級單位向他提交報告，卻不解決要害問題」。「到下面亂跑」，「沒有把精力用在他本應深入研究的主要問題上」。「沒有定期召開政治局會議和常委會議」。陳雲又說，他「批評過胡耀邦以後曾希望胡耀邦能改正錯誤，可是胡耀邦顯然沒有完全理解他的意思」。在選拔幹部上，胡耀邦「只選自己圈子裏的人」。會議以舉手通過的方式批准了胡耀邦的請辭，並推選趙紫陽為代理總書記，推選趙紫陽代理總書記的理由是他在地方工作和在國務院負責經濟工作期間都有成績。
會議保留了胡耀邦政治局常委，只是排名降到最後一位。1月19日，中共中央三號文件列舉了胡耀邦解除職務的原因：「抵制黨為反對精神污染和資產階級自由化而作出的努力，縱容全盤西化的要求；沒有充分堅持四項基本原則，只批左不批右；在經濟工作中鼓勵經濟過快增長和消費，造成經濟失控；在政治工作中經常違反程序；在外事活動中說了一些不應該說的話；經常不遵守黨的決議，未經中央授權就講話」。
在中共十三屆一中全會上，胡耀邦仍以接近全票當選中共中央政治局委員；而當初賣勁倒胡的鄧力群和胡喬木，則在選舉中因得票最少而落選。儘管胡耀邦被閒置，仍然深受中共黨內改革派、知識分子及學生的歡迎。1987年12月30日，胡耀邦接受鄧小平的邀請去鄧家打橋牌，鄧問胡對自己的問題是不是想通了，胡沒有回答，因而失去了鄧小平的信任。
除此之外，胡耀邦反腐敗也得罪不少高官。1985年，時任中共政治局委員胡喬木的長子胡石英，因經濟詐騙被判刑，這個案件是經中央書記處討論一致通過、胡耀邦批准的。當時，趁胡喬木夫婦在外面開會，由中紀委副書記韓天石帶隊，在胡喬木兒子的床下搜出一麻袋人民幣。對此，胡喬木常在鄧小平面前絮叨，雖然胡石英只判刑一年半，且不久就以「保外就醫」的名義出獄，但是，這件事在中南海引起很大震動。中共元老子女利用父輩權勢「先富起來」的，絕不止胡石英一個，而是一批人。胡耀邦此舉引起元老不滿。據萬里身邊工作人員說，當時元老一度人人自危，最典型的是時任國家主席李先念，警告身邊人士和子女：胡耀邦這個人六親不認，你們要是不小心落到他手上，我也沒有辦法。
胡耀邦下台後在一次與友人談話時說：「當時葉帥不在了，老帥講一句，可能就不是那個樣子了。」他的意思是葉劍英在的話，他就不會被趕下台了。
胡耀邦還是太天真了。不錯，葉劍英思想上的確開放，與鄧小平陳雲李先念等頑固派是不一樣。這一點在華國鋒被趕下台時就看出來了。華國鋒其實並沒有什麼過錯，華本人也是改革開放的開啟者，華的思想並不僵化，比較實事求是。但卻成為鄧小平陳雲等人的眼中釘肉中刺。當年葉劍英也想保華國鋒，最終沒有保住。
相對而言，胡耀邦並沒有華國鋒粉碎「四人幫」的功勞。華國鋒在黨內地位也比胡高，葉劍英是心甘情願輔佐華國鋒，當鄧陳聯合起來要整華的時候，葉劍英已經有心無力了，自己不得不讓步，並且也做了自我批評。
在文化大革命前和文化大革命中，葉劍英幾次救過胡耀邦，他和胡的關係也確實好。粉碎「四人幫」之後，葉劍英第一時間通知胡耀邦，並要胡出來工作，從葉劍英對華國鋒和胡耀邦的態度看，可以看出葉人品不錯，沒有野心。這一點與鄧小平陳雲比，太不一樣了。
1986年葉劍英去世，鄧陳等老人就開始整胡耀邦。如果葉劍英健在，就不會整胡嗎？其實華國鋒下台之後，葉劍英就幾乎不管事了，他的地位逐漸被鄧所取代，尤其是軍隊。鄧不當國家主席不當總書記，堅持當軍委主席抓軍權。在華下台的問題上，葉和鄧並不一致。華國鋒下台後，葉劍英就被架空了。而葉對鄧是有恩的。葉和華主動把鄧放出來，鄧卻恩將仇報，把華趕下台，奪葉的軍權，架空了葉。
在文革前和文革期間，葉劍英能夠救胡耀邦，那是因為造反派容易對付，1964年和1975年那個時候，葉劍英的地位高。這和1986年的情況大不一樣，1986年的形勢更加兇險，不是地方上要整胡耀邦，而是鄧小平陳雲要整他，鄧陳比文革中的造反派手腕高明多了。鄧陳在華國鋒下台之後已經不把葉劍英放在眼裏。
