北京市城市規劃設計研究院前副院長董光器在《古都北京五十年演變錄》一書中，印出一張1963年的北京城區佈局方案圖，顯示天安門、端門、故宮皆被拆除改建為大型公共建築，景山下設「主席府」，故宮內建「黨中央大樓」。
20世紀五六十年代，曾有人提出故宮「地廣人稀，封建落後」，要對它進行改造，並出台了多個「整改方案」。
1958年9月，《北京市總體規劃說明（草稿）》有這樣的表述：「故宮要着手改建。」《規劃說明》具體提出：「把天安門廣場、故宮、中山公園、文化宮、景山、北海、什剎海、積水潭、前三門護城河等地組織起來，拆除部分房屋，擴大綠地面積，使成為市中心的一個大花園，在節日作為百萬群眾盡情歡樂的地方。」但是「三年困難」迫使這一計劃擱淺。
1963年2月，故宮改建計劃被再度提起。北京市城市規劃設計研究院前副院長董光器在《古都北京五十年演變錄》一書中，印出一張1963年的北京城區佈局方案圖，顯示天安門、端門、故宮皆被拆除改建為大型公共建築，景山下設「主席府」，故宮內建「黨中央大樓」。1966年「文化大革命」爆發，中共北京市委被打倒，故宮改建計劃被列為中共北京市委要給劉少奇蓋宮殿的「罪證」。
紫禁城並未獲得安寧。「文革」時期出台的故宮「整改方案」是在太和殿前豎立兩座大標語牌，一東一西，高度超過38米高的太和殿，用它壓倒「王氣」；太和殿寶座要扳倒，加封條；在寶座台上塑持槍農民的像，槍口對準被推翻的皇帝……方案還提出要把一切代表封建意識的宮殿、門額全部拆掉。