於澤霖是在1947年秋季在東北戰場被俘的，當時他是國民黨第105師少將師長。105師是原東北軍的警衛部隊，1932年，張學良把東北軍第三、第四方面軍的警衛部隊和原張作霖的衛隊團等擴充改編成的，張學良自任師長，下轄三個旅九個團，是東北軍主力之一。1936年該師駐守陝北洛川，曾與紅軍達成和平協議，西安事變中，105師參與了臨潼扣押蔣介石的行動，後被調到渭河一帶阻擊中央軍的行動。在此期間於澤霖是否在105師中不得而知，但從他的簡歷（《中國國民黨百年人物全書》）中看，歷任東北軍連長、營長，一直在東北軍中任職，有可能一直在105師。
在此期間，1934年，於澤霖還被抽調到國民黨中央軍校洛陽分校軍士教導總隊任幹部，這個教導總隊是專門為東北軍設立的，抽調的管理幹部大部分為正規軍校畢業，特別是東北講武堂各期的學員比較多，而於澤霖正是從東北講武堂第七期畢業的。
1936年11月，王鐵漢就任105師師長，據王鐵漢回憶，他接任105師時，該師下轄兩個旅四個團，其中315旅629團團長就是於澤霖，1937年2月，國民政府以105師為基幹擴編成第49軍，該軍由陝西調往河南。抗日戰爭全面爆發後，49軍調往河北，1938年8月下旬與日軍激戰於津浦路滄縣段，此役49軍損失慘重，被迫南撤，又於同年10月參加淞滬會戰。
49軍是10月28日到達上海的，11月4日，49軍105師開始在姚家寶地區抗擊日軍強渡，接連擊退日軍多次強渡。一直激戰到11月9日，由於日軍在杭州灣登陸，嚴重威脅到淞滬戰場守軍的側後安全，105師這才向無錫撤退。淞滬會戰，105師英勇抗敵，所轄625團團長陣亡，所部損失過半，按照當時的情況，於澤霖的629團的情況也不會太好。
淞滬會戰後，49軍於1938年9月參加了武漢會戰，之後，調往江西，保衛南昌。於澤霖所率629團一直駐防在南昌以北修河南岸五穀嶺一帶，1939年3月南昌會戰開始前，630團接防五穀嶺，629團整休。南昌戰役開始後，日軍開始強渡修河，使用毒氣彈進攻五穀嶺，致使630團一營幾乎全部犧牲，日軍佔領了五穀嶺。此時，於澤霖接師部命令要求629團重新奪回五穀嶺，於澤霖戰前下達命令「完不成任務，軍法從事」，與旅長盧廣偉率629團於半夜強攻五穀嶺，經過激戰，奪回了五穀嶺。不過由於周邊陣地已經全部落入日寇之手，在凌晨日軍的反撲和沒有援軍的情況之下，629團雖英勇抵抗，但仍無法堅持到最後，在付出巨大代價之後，撤離陣地。在後撤過程中，又被日軍包圍，雖最後突圍與大部隊會合，但損失慘重。有關修河戰役，時任315旅旅長盧廣偉曾寫道：
【民國二十八年間，余任旅長時，率軍抗敵於江西修水之南岸，右翼友軍為敵所破，皆已後撤，余乃率部堅守陣地，與敵搏鬥，艱苦支持達二十一日，余旅官兵三千餘人，最後餘存者不過十之一。其間所經戰鬥十八次，晝夜未曾休息者四次，兩晝夜未進飲食者一次，一晝夜未進飲食者三次，一晝夜僅進食一餐者蓋屬常事。余之所以如此者，一以未奉後撤命令，不願泛起守土以求自全；一則亦不忍以守土資敵，致喪我革命軍人之榮譽，而貽國家民族之羞。】
可見戰鬥之慘烈，315旅下轄629、630兩團，經過修河戰役後，整個旅僅存三百餘人。南昌失守後，國民政府問責，49軍軍長、105師師長均被查處降級，105師重新整編，629團改為315團，於澤霖仍任團長。部隊在贛北經過半年的整頓、補充和訓練之後，重新投入抗日的戰鬥中。
1939年9月，第一次長沙會戰開始，49軍亦投入戰鬥，於澤霖的315團是會戰後期投入戰鬥的，參加了阻擊日軍回竄奉新的戰役，在於澤霖的率領之下，315團完成了軍部交給的任務，擊退了敵軍的進攻，完成了阻擊任務。以後，49軍還參加了上高會戰和第二次、第三次長沙會戰。在抗日戰爭期間，49軍因參加多次戰役，人員減員嚴重，部隊因此也多次補充兵源和整編，但無論如何整編，105師一直留在該編制中，成為49軍的基本保留部隊。
於澤霖1945年1月任93軍暫編第22師副師長，抗戰勝利後隨部赴東北接收，1946年10月任東北保安軍93軍暫編22師師長。而此時的49軍，在抗日勝利後改編成為整編49師，內戰期間參加了蘇中等戰役後，於1947年8月調到東北，駐守錦州地區，9月，恢復了49軍番號，或許由於105師和於澤霖有太多的關聯，於澤霖調回了105師任少將師長。不過，上任一個月，在中共軍隊發動的1947年秋冬攻勢中105師被全部殲滅，於澤霖被俘。（另有一資料上說於澤霖於1946年10月接任105師師長）
於澤霖的軍旅生涯興於105師，也終於105師。
於澤霖的戰俘生涯一共十五年，被關押在撫順戰犯所，1963年10月刑滿釋放。於澤霖在戰犯管理所里的生活狀況，沒有專門的資料講述，只有其他人的零星講述，比如關夢齡（軍統上校）回憶中曾提到於澤霖向他學習俄語，尚傳道的《撫順改造回憶錄》中提到，「例如一九五六年在我這個學習組的於澤霖學得一手好鍛工，一九六三年刑滿釋放後，分配到江西一個工廠當了五級鍛工。」
於澤霖被俘後還有一事也是挺有意思，據《長春文史資料》（十六輯）上提到，於澤霖1947年7月在錦州駐防時認識了一位在長春上大學回家探親的女學生，兩人訂下終身，女學生回長春繼續學習，不料想於澤霖被俘。在關押期間於澤霖認識了一個國民黨團長關銳璽，1948年春，關被釋放，於澤霖就拜託關團長去長春看望女友，並捎上一枚金戒指給這位女大學生。關團長不負朋友託付，多次找這位女學生，講述了於澤霖的情況，轉交了金戒指，但女大學生考慮到實際情況，婉拒了於澤霖的婚約，並退回了金戒指。而關團長找這位女大學生的事情已引起了國民黨保密局的注意，為此把於澤霖的這位大學生女友關押了兩個月。
另外還有一事，新華社老播音員齊越的回憶錄中，講述在1948年的廣播內容中有「於澤霖談話（國民黨軍官）」，估計是被俘之後發表的反蔣談話。
於澤霖是遼寧人，刑滿釋放後不知為何選擇去了江西，或許抗戰時期他所率領的629團或315團主要就是在江西抗日的，很多部下犧牲於此，割捨不下，才主動到江西的，也或者根本就是政府分配他去的，他別無選擇。到了江西後，被分配到撫州金谿縣許灣鎮農機廠，據1975年江西省公安局給江西省委的《關於特赦、刑滿釋放戰犯的情況報告》中所說，於澤霖的表現屬於較差一類的：
【個別表現較差。主要是：思想不穩定，改造有反覆，對安置待遇不滿意，對政府有牴觸情緒。如於澤霖，思想不穩定，改造有反覆，時好時壞，初來時為了表現自己，對安置待遇表示滿意，每月補助五元生活費，要求取消。但在文化大革命期間表現不好，要求參加本單位群眾、造反組織，負責人不同意，於竟質問說：我是群眾，為什麼不能參加？併到我公安派出所詢問，當派出所的同志問於是不是群眾時，他竟大為不滿的說：我不是群眾難道不要革命……。還有職工李有根到於家玩時，問於住在這裏呀？他回答說：我是一貧二苦，流露不滿情緒。在此期間還常鬧工資待遇，說什麼：我又不是五類分子，為什麼工資總是這麼多，不調整提高呢？73年多次寫申請要求調換工種和增加工資。未及時解決，大為不滿。後根據他的身體情況由打鐵調到精工車間做零工，工資由十五元增加到二十五元，從此表現較好。批林批孔運動中表現一般，很少發言。】
以上材料顯示，於澤霖在江西生活的並不是很好，一個抗日中英勇作戰的團長，東北軍中的一員猛將，竟為增加工資從十五元到二十五元而鬧情緒，落到如此地步，也讓人唏噓。
文革後，於澤霖是回到東北瀋陽老家還是留着江西金溪，不得而知，但從搜集到的資料來看，於澤霖在八十年代寫了不少回憶文章，均刊登在各級文史資料上，寫有：《第105師修河戰役概況》（江西文史資料總十六輯，1985年）；《截擊竄奉新之敵》（寫於1985年元月）、《第49軍主力在錦西楊家仗子被殲經過》、《蔣介石消滅東北軍的一套手法》等文。
於澤霖的一生經歷大體如上所述，他的軍旅生涯幾乎一直與東北軍105師相伴，他是東北軍中的一員猛將，在抗日戰爭中率領部下為國英勇抗擊了侵略者。而三十年代入關的105師的數萬名東北子弟，在1947年105師再次回到東北時，經過八年抗戰，估計已經所剩無幾，不知道時任105師的於澤霖會不會感慨，會不會為這些犧牲在關內的東北子弟兵感到驕傲和惋惜！東北軍中曾經的王牌主力沒有被侵略者所消滅，卻全師葬送在內戰之中。
