「六四」北京開槍後，香港市民一直處在激憤之中，不少市民以罷工、罷課、罷市，來哀悼北京死難同胞。股市下跌一千點，市值損失二千億港幣；地產物業的市值至少也下降二千億港幣。也就是說，僅是股市和地產，已損失了近四千億港幣。
市民在政治上的義憤無處發泄，就湧向中國銀行擠兌，三天之內提走一百七十億港幣，來勢異常猛烈。在六十、七十年代，香港大學一批青年學生，擁護毛澤東思想，熱愛社會主義中國，被成為國粹派。現在，這批青年多已成為香港社會的精英，有的在外國銀行香港分行任總裁、經理，有的任職一些大公司的主管。六四之後，他們中一些人聚會，多數人憤慨地主張，乘擠兌中國銀行之機，把中國銀行搞垮。這說明什麼呢？一度他們是香港最愛國、最熱愛中國共產黨的青年，竟然發生了這樣激烈的變化！
當然，擠兌風潮對香港金融有破壞作用，受損害的，最終還是香港市民。工委經過討論，由中國銀行向港英政府和滙豐銀行緊急交涉。他們同意支持，由香港政府發表聲明，滙豐也準備調集一些資金支援。當然，中國銀行主要還是依靠自己的力量，進行調度，大陸總行也調來資金支援，儘快平息了擠兌風潮。
六四後，香港移民又起高潮，外國領事館外大排長龍申請移民，不少大陸的外派幹部拿到香港身分的，也打算移民，公開在領事館外排隊等候。中國駐外使館人員外逃的消息，也不時傳來。
香港的公司企業，遷冊風潮又起。連一向表示不移民、不遷冊的李嘉誠，也改口聲稱，是否遷冊，由董事會決定。
六四之前，新華分社門庭若市，就是請願遊行期間，接觸面也很廣。「開槍」之後，一下子冷清下來。很多一向同中國關係較好的人士，都開始疏遠；連平時和中方關係密切的人士，也不見面了，他們也要同北京方面劃清界限，保持距離。一些商人紛紛停止與國內的生意，甚至把辦事機構從大陸撤回。
六四後，一些香港支持北京學運的團體，在新華分社大樓的對面設靈堂，祭悼六四死難者。行人經過，都參加弔唁致敬。鄭華很緊張地告訴我，黃文放帶頭搞了橫幅，準備率領社內一些幹部和工作人員去靈堂祭靈。黃文放是對台工作部部長，前次部長們的簽名，也是他帶領的。鄭華告訴我，他們對黃文放做工作，勸阻無效，鄭華要我出面再做黃文放的工作，他去勸阻群眾，我答應了。我把工委的意見告訴了黃文放，希望他不要帶領，自己也不要參加祭悼活動。黃文放不置一詞，轉身依然率領香港本地員工，打着橫幅，走出新華社大門，在對面靈堂前做了祭悼活動。鄭華的勸阻工作，只在少數大陸來港的員工身上產生效果，他們沒有參加祭悼。
四個月來，新華分社大樓，以及對街體育館的牆上，貼滿了各式各樣的大字報和漫畫。「六四」一個多月後，我們徵得港英政府同意，準備由新華分社員工自己動手洗刷乾淨。由於貼大字報所用的是膠水，洗不掉，行政處就請中資機構下屬的清潔公司幫助清洗，當然也是要給錢的。但是，「左派」機構的清潔公司知道清洗的是新華分社大樓牆壁上的大字報，堅決不肯接受。
圍棋國手聶衛平要去東南亞參加圍棋比賽，途徑香港，與他同行的還有浙江省的橋牌隊。我邀請他們在新華分社赤柱招待所聚餐，約他們下午四點鐘就到，因為我也喜歡下圍棋，想藉機向聶衛平討教。
聶衛平和其他人下午四點多就到了，橋牌隊的隊長須在九龍辦一點事，會晚一點來。我們一面談話，一面等他，一直等到晚上九點，他才到。問他為什麼這麼遲？他講，在九龍叫「的士」（出租汽車），的士司機聽到要去的地址是赤柱香港新華分社招待所，立即掉車而去，不肯載他，連叫四輛的士都如此。
後來，他只好請一個過路人幫他叫車，只講地址，不講是新華分社的地方，這才攔到一輛車載他回來。我和聶衛平聽後都十分震動，沒想到，連的士司機這樣的基本群眾，對我們都持這種態度。
六四後，為爭取港人恢復和中方的交往，了解北京新領導班子的態度，我積極徵求港方中上層一些肯接近我們的人士，鼓勵他們訪問北京。包玉剛、李嘉誠同意去北京，但只見鄧小平。我同意為他們安排，包、李也先後見到鄧小平。他們回來後都和我聚會，談了會見情況。包玉剛談及鄧小平對英國政府持強硬對強硬的態度；李嘉誠則語焉不詳地表達了他的憂慮：「如鄧先生所言做下去，非港人之福。」我懂得他指的「鄧先生所言」，是和包玉剛講的同一內容。
其他先後有幾批人也同意去北京，但條件是只見江澤民，不見李鵬。我也答應，做了安排。他們見到了江澤民。也有人同意見江也見李，但要求見李不公開，不發新聞。我同樣接受，做了安排。只有羅德丞沒有拒絕，他見了李鵬，做了公開報導。
大多數去北京訪問的，不管見了誰，回港和我談及感想，都異口同聲說「北京領導人不了解香港情況」，表示很失望。有人甚至說，「他們（指會見的領導人）把香港當敵人看待。」我不便細問，也就很難對這些人做解釋。
後來李後給我打電話說，江澤民不願意再單獨見什麼人了，理由是如果他們不願見李鵬，他一個人不方便單獨接見。這樣，約好的幾批人士，便遲遲不能成行，又不便將江澤民的理由坦直回覆給他們，只好借辭拖過去。我深感香港人心變化之大，而北京又不能也不想理解，今後香港工作實在難做了。
六四風波中，香港新華分社與各中資機構的不少員工，參與、支援天安門學生愛國活動。六四後，工委討論決定，不管是參加簽名、遊行、募捐等支援活動，「一律不咎既往」，自己接受教訓，不要求做口頭或書面檢查，並將決定報告中共中央。姬鵬飛很快通知我們，表示同意工委意見。四中全會期間，我向新任總書記江澤民又匯報了這個意見，得到他的同意，我們便向各單位做了傳遞，穩定了內部不安的情緒。
可是，七月間，我去北京參加姬鵬飛主持的港澳工作會議，會議上又要求工委及所屬單位對六四期間港澳出現的「問題」，作出「反思」。所謂「反思」，就是「檢討錯誤」的同義詞。當時，北京從市到中央，從個人到機關黨委，都紛紛在做「反思」，實際上在搞「人人過關」，大搞「秋後算賬」。姬鵬飛已經通知我們，同意工委「一律不咎既往」的意見，江澤民也同意了，現在又要「反思」，出爾反爾，我沉默以對，不表示態度。周南見狀，出面打圓場說：「反思一下有什麼要緊，我們外交部黨組也做了反思。」我點點頭，表示接受。
回港後，在工委會上傳達後，我表態說：「整個六四事件期間，我不止一次說過，工委在處理上如有什麼過失，將來追究責任，你們（指其他工委委員）可以都推到我身上。實際上，也都是我做的決定。我們對下已經宣佈對六四期間發生的問題，既往不咎，現在中央又要我們『反思』，我考慮，我們沒有犯什麼錯，但不『反思』又不行，請大家考慮怎麼處理。如果要『反思』，也只由工委『反思』，下面是否不傳達，也不要求他們『反思』。工委的『反思』，如果犯了什麼錯誤，責任還是在我，不要大家負責。」會議上發言的很少，最後結論是：「寫一個反思吧！」把「寫」的難題，交給了副社長兼秘書長佘孟孝。
我考慮了幾天，和佘孟孝商量，如何「寫」「反思」。佘也有個初稿。共同的意見是，我們沒有什麼錯誤要檢討，但作為教訓入手，可以「寫」幾點「認識」。對北京學生愛國運動，以及港澳的支援運動，如何提法？最主要的是對關於「動亂」、「暴亂」的定性，在「反思」中如何提，斟酌再三，採用了「北京風波」的提法。
這樣，「反思」在工委通過了，報送給中央。十月，五中全會期間，姬鵬飛談到工委的「反思」報告，竟說：「你們的『反思』報告，寫得很好！」我真不信自己的耳朵是不是聽錯了。
七、八月間，港澳辦一位幹部私下告訴我，江澤民在工委的「反思」報告上做了「批示」，大意是，「看來，許家屯是『右傾』，工作上應該調動一下。」中央辦公廳將這個「批示」送港澳辦秘書處，還沒有來得及送給秘書長李後，中央辦公廳又派人取回去了。什麼原因，取回去的人沒有解說。我相信這位幹部送給我的信息。因為不久前，也是他告訴我另一件事：江澤民用了兩天時間，聽了李後、魯平的匯報。匯報的情況他不清楚。從這位幹部說話的神情看，對我不是一個好的訊息。
四中全會，江澤民正式登上總書記寶座後，曾主動找我談了一次話，兩人談得較融洽。他當時還同意工委的意見，六四期間，參加支援活動的港澳中方機構人員，不管情況如何，一律不咎既往。他是黨的總書記，實際上他代表中央批准了工委的決策。
從他聽到李後、魯平匯報後，他的態度有了改變。數次我去北京，我讓秘書和他的秘書聯繫，要向他匯報港澳情況，他的秘書是他從上海帶到北京的，以往對我態度很友善，每次接到我秘書的電話，有事隨即解決；可是現在語氣變了，老打「官腔」，先是說江澤民日程排得很滿，有空再通知我，隨後便無音訊了。一次還罷，兩次，三次都如此。使我不僅感覺一旦官做大了，人就變了，還預感江澤民對我的看法，也有變化了。
這位幹部送的信息，證實了我的感覺，江澤民已給我「右傾」帽戴，準備「秋後算賬」了。
後來五中全會時，我主動找中央組織部部長宋平，要求中央批准我退休，即緣起於此。
六四風波「穩定」後，上至中央，下至市委、各機關、部隊、學校、團體，從單位領導人以至個人，都紛紛進行檢查、「反思」，大規模地進行「秋後算賬」。中共雖然批准了工委在港澳實行「一律不咎既往」，實際上又不斷施加壓力，進行「算賬」。不同的是，北京是全面「算賬」，香港只是個別清點。
港澳辦在六月底，專門通知工委，要我去北京開會，討論六四期間，關於港澳報刊報導問題。我和張浚生商量，匯報時，突出當時香港的社會情況，雖然兩報的報導有過分之處，但我們已經宣佈一律不咎既往了，今後要「轉變」過來，還是不能急，要逐步來，着重點還是要大家接受教訓。
我和張浚生一同參加會議，姬鵬飛主持，港澳辦、外交部還是那幾位與會。中央對外宣傳組負責人朱穆之、中宣部副部長曾建徽，專門參加了會議。
一開始，曾建徽便責問：「《文匯》、《大公》怎麼搞的？」與李鵬廿五日和見面時的責問口氣幾乎一樣。朱穆之隨即附和，指明要工委匯報《文匯》、《大公》的問題。
張浚生按準備好的提綱做了匯報。曾建徽不斷插話，指責：「共產黨自己的報紙，罵自己共產黨，實在不可思議！」我估計他們是帶着「尚方寶劍」來的，等待他們提出「指示」。
張浚生匯報到工委的處理原則，轉變要逐步來，不能急，要容許兩報員工有接受轉變、接受教訓的過程，急則可能生變；並且也要讓社會有個接受的過程。這是，我觀察到曾建徽不斷搖頭。
我還是做了補充。一開始，我用的仍是對李鵬講的觀點：不能用大陸的標準來要求這兩份報紙，更不能用大陸六四後的處理辦法，來處理這兩份報紙。六四期間，兩份報紙的做法，也是不得已，當時香港社會上與報社內部，群眾激動的程度，報社領導已很難控制。連我們工委也是如此。報社為了不被內外部群眾衝垮，為了保留陣地，才做了權宜處理。我們應設想當時報社領導人的處境。我強調，處理《文匯》、《大公》，特別是《文匯報》，不能急，更不能用大陸的辦法。（當時，大陸各新聞機構正在大搞「秋後算賬」、「人人過關」活動，還把大批參加支持學生愛國活動的記者、編輯，調職、撤換以至逮捕。）既然已將中央批准「一律不咎既往」的政策宣佈了，就只能在原基礎上，加強教育，逐步轉變，，讓他們有個接受教訓的過程。
朱穆之、曾建徽經我這麼說後，他們相互看看，沒有表示贊同或反對。與會的其他人看來也插不上嘴，姬鵬飛也沒有表態。因為他們都沒有公開表示異議，我也就認為他們同意了。
朱穆之還是開了腔，他問：「在香港辦一份《人民日報》樣的黨報，怎麼樣？」曾建徽進一步問：「《大公》或《文匯》，改一份為黨報，怎麼樣？」於是，姬鵬飛也加入了討論。
我很不以為然。在香港辦《人民日報》式的黨報，不可能辦得成功，《人民日報》海外版便是例證。鑑於當時氣氛，不便反對，只好敷衍說：「我們回去研究研究。」他們也同意了，算是結束了會議。
回港後，工委討論時，請兩報黨員社長、副社長楊奇、陳伯堅列席，傳達後，大家都感到壓力沉重，但還是堅持處理兩報既要「轉變」，又不能急，也不要施壓的原則。「轉變」則採用逐步「淡化」的做法，使內外都能有一個可接納的過程。要兩報黨內外工作一齊做。工委決議指定由張浚生出面告知《文匯報》社長李子誦，有關北京和工委的意見，請他諒解，支持。
說服的工作進行得很不順利。這是可以理解的。問題是，《文匯報》副社長陳伯堅過於心急，往往語不擇言，矛盾緩和不下來。他本人情緒也不正常，時常和張浚生起衝突。有一次，他竟然對人說，準備隨時被調回北京，開除黨籍，坐牢。我為此特地找陳伯堅談話，我說：「你在運動中的問題，沒有那麼嚴重。歲數已這麼大，早該退休了。看破一點，了不起受點處分。這也許是我們這類人最後一次的考驗，不要太緊張，還是把當前的工作做好。」我和他也是老朋友了，新華總社要他退休時，是我留下他到《文匯報》工作的。我半開玩笑地說：「我們犯了一樣的毛病。如果有什麼問題的話，我們共進退好了。」不料一語成讖，我來美後，他也被解職調回大陸。不久，我從報上看到他去世的消息，悵然許久。
陳伯堅和報社一些同仁，同社長李子誦的關係，搞得很緊張。李子誦和一些同仁對「轉變」，思想不通；陳伯堅又要求過急，報紙每天要和讀者見面，特別是北京有人瞪着眼，盯着看這張「共產黨自己罵自己」的報紙，看你如何「轉變」。變成幾乎每天都有陳伯堅和人衝突的消息。最後，爆發「文匯之友」事件，引起更大矛盾。
張浚生在工委碰頭會（每天的例會）上表示，有人報告說，李子誦某人和劉賓雁、陸鏗、金堯如等一齊吃飯，商談組織「文匯之友」，要《文匯報》「獨立」，拉出左派陣營。什麼北京不清楚，估計可能是台灣或某國，以台灣的可能性大。他還說，「文匯之友」已公開發表了聲明，要《文匯報》「揭竿而起」，成為「筆桿子和槍桿子的橋頭堡」，情況顯得很嚴重。討論結果，一是要陳伯堅出面召開社務會議，爭取李子誦參加，如果情況屬實，要公開聲明澄清。二是要報北京備案，以防真的「獨立」了，不好交代。
陳伯堅立刻會報社開會，擬了「聲明」，李子誦對「聲明」有不同意見，陳伯堅便召開社委緊急擴大會，通過了「聲明」。李子誦不肯參加會議，以陳伯堅越權，非法召開社委緊急擴大會議為由，發出書面通告，解聘陳伯堅的副社長職位（陳伯堅的副社長職位，是社長李子誦發的聘書）。
那天已經下午十點多鐘，張浚生要求召開工委緊急會議，匯報《文匯報》所發生的事件，認為李子誦斷然解僱陳伯堅，證明「文匯之友」的情況是準確的，如不相應採取措施，《文匯報》就有被「拉出去」的可能。
討論中，有人提出改組《文匯報》董事會、社委會，開除李子誦的一切職務。其他有關人員，也相應處理。但《文匯報》是統一戰線性質的報紙，這種做法也不合香港法律程序。一時之間，考慮不出更妥善辦法，又擔心不立即處理，第二天李子誦有進一步改變《文匯報》的行動，出現無法挽回的局面。
我同意立即果斷處理，但不贊同開除李一切職務。李子誦是我們黨的老朋友，「文匯之友」活動他不是主動者，事情發展到這種地步，不解除他社長的職務，已無法解決問題，但要留有餘地。我主張《文匯報》董事長職務不動，一切待遇（政治的、經濟的）不變，得到大家同意。
我們又繼續討論了幾個問題，包括用什麼方式宣佈解除李子誦的社長職務？有人提議：采「停止留用」的提法，較為緩和，大家同意。
其次是《文匯報》的股權如何轉移給新華社指定代理人的問題。由於香港《文匯報》約有三分之一的股權仍由上海《文匯報》所有，須與上海市委聯繫，請他們支持轉移過來。還有一部分由原總編輯金堯如名義擁有的，金堯如已離職，也要轉移過來，以確保新華分社所擁有的股權。
金堯如參加了「文匯之友」的活動，有人主張撤銷金堯如在董事會內的董事職位。我不主張牽連，而且必須召開董事會才能取消董事，新華分社不可能出面做這種事，因此處理金堯如的意見，未獲通過。
有人提議報北京批准。我考慮時已夜深，又不能再拖，並且一旦上報北京，他們還可能說工委「手軟」，應該要更嚴重的處理。我於是說，等不及了，我們報告備案就可以了。
最後，會議決定張浚生當晚代表新華社去文匯報社宣佈決定。明天上午，我去李子誦家，做李本人的工作。
第二天上午，我懷着內疚，到李子誦家去做「工作」。我能和這位愛國、正直的老人說什麼呢？我當時只能請他諒解，請他保重身體，建議他外出休息，如去大陸，我願意代為安排一切。我真誠地表示：「李老，你仍是共產黨的朋友。」（當時，我還是中國共產黨在香港的代表。）
我對李子誦很抱愧。特別是，當後來知道，「文匯之友」活動真相，不是那回事時，更感不安。現在乘此篇幅，謹向李老道歉！
七月上旬，姬鵬飛專門召集、主持了一次討論香港「六四」以後形勢的會議，主要討論了關於「港支聯」的問題。
香港支聯會，以香港激進民主派為骨幹，以司徒華、李柱銘為首，他們抓住了香港各界市民支援天安門愛國學生運動的機遇，建立了「支聯會」，取得了空前的發展。這是一個以中右為主，綜合左、中、右的統戰型的組織，其領導權掌握在激進民主派手中，當時幾乎網羅了香港各方追求民主自治的團體，也包括不少原來對政治比較冷漠的中間性社團，甚至還有部分左派組織。他們在六四事件中，對北京採取了異常激烈的鬥爭策略，呼喚要「打倒鄧、李、楊」、「打倒法西斯」，聲明不承認「李鵬政權」的合法性，誓不與「李鵬政權」交往。
會議上，北京認為這是一個企圖顛覆中國政府的組織，是西方某些國家和本地反共勢力結合起來，企圖將香港變成反共基地的工具，要求英國予以「取締」。姬鵬飛同意李後的觀點，「對英國政府縱容港支聯的做法，我們要進行交涉，要求英國政府撤銷對港支聯的註冊，取締港支聯。」
工委的看法有些不同，會上我們分析，據我們情報部門了解，支聯會確有少數人利用這個組織進行反對中國政府、中國共產黨的活動，這些少數人當中，有外國、外方勢力的代表，想把香港變成公開或半公開的反共顛覆基地，廣大群眾出於義憤，參加活動，跟着喊了些過激的口號，我們應該採取分化、爭取的政策--爭取大多數，孤立打擊極少數。我們同意採取由英國人出面，用香港法律手段，取締「港支聯」。英國法律是禁止顛覆英皇的。在香港公開號召顛覆中國政府，打倒中國政府的口號，我們可以向英國政府進行交涉，但估計英國接受的可能性不大，主要還是要依靠我們自己今後的工作。
有人要把香港變成反共顛覆基地，我們認為歷來就如此，現在只是一些人想利用這次運動，把過去的秘密狀態，轉為公開，或半公開化。情報部門已經初步了解，大陸參加民主運動的一些人外逃，靠港支聯幫助他們，不但出錢，還有專人在進行。有些外逃的人，先住在這位「專人」的家中，然後取得外國簽證，離開香港。這樣一些少數人，是重點打擊對象。
會議中沒有對工委的分析再進行討論，結論是要向英國政府交涉，「取締港支聯」，並經過其他方面的工作，逐步削弱以至取消這個組織，取消這個被某些勢力利用，以香港為基地，意圖顛覆中國政府的工具。
會議還對恢復基本法起草活動，聽了李後的發言。李後根據香港在「六四」中的表現，提出在基本法草案里，須增加防止顛覆政府活動，以及緊急時期實施戒嚴等內涵的意見。與會者沒有異議，也通過了。
會後，外交部和香港新華分社，分別向英外交部和港英政府，提出取締港支聯的交涉。我們還在香港進行了輿論上的「攻勢」。英國政府則以港支聯註冊，不違反香港法律為理由，拒絕了中國的要求。此外，我們說服了一些參加港支聯的左派和中間派社團，退出港支聯。有些中間派社團，由於他們自己的原因，也退出了港支聯，這對港支聯而言，只是「削弱」了一點。
七月廿一日，《人民日報》發表署名為艾中的文章，題為《一國兩制，不容破壞》。我們事先並不知道這事，感到很突然。查問後知道文章是港澳辦起草的。香港社會對這篇評論反應強烈。我感到文章有兩處不妥，一是公開了少數人企圖把香港變成公開或半公開反共基地的內部分析，而且文章的措詞，引導人們認為：在香港凡參加支持學生愛國運動的人，都想把香港變成反共基地，打擊了一大片，廣泛樹敵，這不僅不合乎事實，而且極不策略。
第二，幾乎是公開點了李柱銘、司徒華的名字。我感到這樣公開視二人為「敵」，非但不能孤立他們兩人，且會提高他們的政治知名度，增加他們的政治資本；還造成以後無法接觸這兩個人，無法進行工作的局面。這兩個人的立場，我們是早就知道的，做為今後政治鬥爭的對手，我們應該既有鬥爭的一面，也有合作的一面。「六四」以後，他們對中國形勢估計錯誤，採用了過激的策略，當前，和他們鬥爭成為主要的一面，現在這樣公開點名，實際上是不留餘地了，也是過激，不策略的做法。
我考慮先設法澄清第一個問題，須向香港社會做些解釋的工作，設法沖淡一些《人民日報》文章所引起的激烈反應，把多數和極少數分開，澄清「反共基地」與多數人是絕不相干的。我立即組織人寫了一篇文章，重點闡述這一觀點。寫完後送北京，希望仍然在《人民日報》發表，結果李後傳話來，只同意在《瞭望》雜誌上發表。當然，這篇文章的基本立場是維持《人民日報》那篇文章的，所以效果並不大。
「六四」後，我與司徒華、李柱銘私下有過直接、間接接觸，當時目的是為了留有以後恢復合作的餘地。但北京是不知道的。他們不會贊同，並且事前可能會組織，事後可能「記賬」，如不立即批評的話。
中國共產黨和中國政府對港支聯「取締」、「取消」的策略方針是錯誤的，是達不到目的的。這個錯誤策略，不僅「九七」之前無法達到，「九七」後也少有可能。如果屆時采強硬措施「取締」，不僅中國共產黨、中國政府要進一步付出政治上的代價，也會使特區政府處於極為困難的地位，損害港人對特區政府的信心。明智的做法是「容忍」，爭取大多數，逐步改變他們對中國的態度，隨着大陸本身的不斷改革開放，時間日益接近「九七」，香港和大陸關係的日漸密切，實現這一方針、策略是完全可能的。
這一錯誤方針、策略的制定，我是參與並同意的，我有責任。
