1940年,顏惠慶從三藩市乘船抵達香港。翌年,香港淪陷,他被日軍軟禁。日軍兩次請他出山,都被他這位愛國老人嚴詞拒絕。後來他被日軍押返上海,自此閉門不出,拒不與汪偽政府合作。就在這期間,他回首平生,開始撰寫自己的回憶錄。