接着來的是整個戲劇界，以至文藝界進行了對吳祖光的大批判，在以後的很長時間對我的批判大會、小會開了不知有多少，現在回憶，至少不下五六十次，印象最深的是一個叫文××的在青年團召開的一次會上，發言批判我，發言很長，內容全是吳祖光貪淫好色：如何看淫書淫畫，如何搞女人、玩女人，如何引誘年青人搞下流事……而到1960年我從北大荒經歷三年"改造"，回到北京家裏的時候，他聽說我已經回來，又很快地來看我，告訴我他當時發言的目的全是為了我好，其內容全是他從各方面搜集到的對我的"揭發"材料中提出來的，為了向我"通風報信"，便於我寫交代材料。這樣說他倒是對我的"真誠幫助"了，但是誰都知道，這位當年自稱是我的表兄的文某恰恰是以玩弄女性著名，至今從不諱言自己是好色成癖的名家。使我認識了我一世交遊，什麼樣的"狐朋狗友"都有。
受了幾個月的"批判"之後，我這個一心一意熱愛祖國、不借中斷在香港的事業與生活，並把家庭全部收藏捐獻祖國的愛黨愛國者，於1958年被發配到了千里冰封的北大荒，受了三年折磨和屈辱之後才回到北京。
什麼反右、批判、檢查、勞動，我倒都經受過了，但是使我最痛苦的是我的家庭，我的母親、妻子、子女……首先說我的妻子新鳳霞，說她是這些年來眾所周知的戲曲舞台上最紅最亮的、廣大觀念最喜愛的演員，這樣的評價決不為過。然而由於我戴上右派帽子，中央文化部副部長劉××威脅迫使她和我離婚，被她斷然拒絕之後，立即給她也戴上右派帽子，從此這個晶光透體的"評劇皇后"便立即變成人人可以欺侮的可憐蟲；到了"文革"時代竟然在病中被曾經受過她的恩惠的年輕評劇院演員劉敏庚打傷成殘廢直到今日。再說我們3個孩子，都不許升學，長子吳鋼去近郊農村"鍛煉"，次子吳歡初中讀完也送到北大荒，作了7年"兵團"通訊員，每天走70華里送信的苦役，小女兒吳霜初中畢業後，竟被原來最喜歡她的女主任老師取消了她升學的權利，只能留在家裏。至於我的父母，父親病已垂危時刻，被我夸譽為有史以來"最好、最廉潔的黨和政府"將我放逐萬里冰荒，去世之時竟不知他的兒子到了什麼地方。以後就是最善良、刻苦、默默承擔一切責任的我的母親擔負起所有全家以及三個年青孫兒孫女的教養之責，雖然他還有許多兒子、女兒，但她一天也不離開這個"闖了大禍"兒子的家，把應當由大兒媳承擔的一切責任背到老人的身上……不能不說，我的原該是最幸福美滿的家庭，為黨為國家獻出最大貢獻的忠心耿耿的文藝工作者，毫無愧色的幹部就這樣被摧毀掉了。
回想1949年我從香港滿腔熱情投奔黨和新中國的懷抱是懷了多大感情呀！甚至把一向認為選擇自己事業的最大自由都義無反顧的交給了中國共產黨。怎麼會想到號召提意見原來是一個騙局。把"陰謀"說是"陽謀"，從而發展到"大躍進"後，三年困難時期，廬舍成墟，弄虛作假，割甲田插乙田，虛報產量，大事謊騙，自欺欺人。"反右"十年後的"文革"，把在校不在校的一代青年全部教唆成為流氓、打手，大肆"打、砸、搶"，把祖國大地弄成一片打人、殺人場；使城市一片血海，農田遍野荒蕪。有史以來，以彌天大謊惑世惑人，治世治人，任意屠戮同胞、同志，將昔日戰友甚至一一殺戮，真乃"史無前例"。"文革"開始，我曾有一年行動自由的生活，就在一天走在家門不遠的王府井大街上時見街心鑼鼓齊鳴、口號聲震天震地，原來是一輛人拉的大車上反手捆綁了四個赤膊老人，白布橫標上大書反革命分子"彭羅陸楊"；乃彭真、陸定一、羅瑞卿、楊尚昆，四個"欽犯"。當年不都是赤膽忠心忠於偉大領袖的嗎！現在就都落到這種地步，蓬頭垢面，非復人形。片中說明，這位國家主席被折磨得慘不能睹，沒吃沒喝，長期不能洗臉漱口，頭髮里長滿了跳蚤虱子……我平生沒有見過劉少奇一面，但是我禁不住痛哭起來，"劉主席"被折磨成這付慘象真是難以想像。
這使我多年已經忘記"文革"當年的一些經歷重又出現：我在我的"工作單位"被"管制"的當時，開始只能留在家裏，不准自由行動，而所謂造反派則可任意聞來為所欲為，譬如從上海來了一夥青年到北京來串連，自稱是我弟弟吳祖昌任校長的"上海市北中學"的學生，故意找到我家來"造反"，這就說明祖昌目前顯然也是失去自由，被他的學生造了他的反，而且到北京來造他哥哥--這個"大右派"的反，到了我家便又罵又砸，十分粗野，就要動手打人了……出乎意料的是，居然是占我家南房的工人老劉挺身而出，制止了這群野蠻的上海青年造派，從而保護了我，使我至今感激這個工人階級的見義勇為好人。可惜我現在也全然忘記了他的名字，他比那萃華樓黨委書記老薑更好得多了。還使我至今不忘的是住在我的鄰近不遠一所大紅門大四合院的人家，是當時一位國家部長的公館，部長本人待人和善可親，在街上偶爾接觸都熱情招呼，而"文革"開始時他的兒子，一個中學學生，參加了當時的一群學生組織的造反派的"東城糾察隊"，卻多次闖入我家來抄家，就像到了他自己家裏一樣，嘴裏還罵罵咧咧的，在我家大門上用白粉筆寫着"大右派反革命吳祖光"字樣，上面還劃着大叉子，他曾多次來抄東西，又摔又打，對許多精巧好玩的東西要把玩半日然後摔掉，我曾注意到他和許多人同時對一把美國貨的尺把長的刀把玩甚久，又給扔掉了，但是到了傍晚他一個人又來闖進北屋逕直取走這把刀高興地拿回去了。看來這位貴公子是何等喜歡這個"文革"世界啊！
1960年我從北大荒回到北京之後，過了半年，被"組織"分配到中國戲曲研究院從事戲曲劇本寫作。這個工作我從內心是喜歡的，亦能勝任的，而且寫了不少劇本。還帶着一個當時最年青精銳的國家京劇團到上海演出，十分成功，轟動一時，戲研院的許多年青的專業研究人員也都對我十分友好並且尊重我，但幾年後"文革"開始，立即起了變化。到了打、砸、搶的混亂時刻，我就從"老師"一降成為人人可欺的罪犯。先是被關閉在一間小屋裏失去了自由，而有一次忽然通知我，要我回家一趟，我一人居然回了家。到家一看，原來全家一片混亂，我的書，我家大客廳的桌椅擺設全部像遭了搶劫，是叫我回家去收拾殘局的，我的八旬老母，我的妻子坐在殘破的屋裏發呆，我只能爬在地上，滿身是汗地件件撿起這些破爛東西，客廳里連地板磚都掘碎了一角，妻子告訴我造反派說地下埋有軍火，所以挖開的，屋頂也挖開了一角……
這天起我可以回家住了，兩個兒子都已離家，只有老母、妻子和小女兒在家，兩個外來的"房客"那時還沒有來。這一陣北京真是個恐怖世界，隨時都會有妖魔鬼怪闖進家來。戲曲研究院的一個青年工作者（原來對我執弟子禮甚恭的陳湘），有一次居然一個人騎了輛平板三輪車來到我家，進屋之後把我的書大量搬到車上裝了一車，然後用繩子捆好，騎回去了。
