21歲時，趙匡胤告別父母妻子，開始浪跡四方，希望建立一番功業。他漫遊了華北、中原、西北等不少地方，到公元949年，終於遇到了機會。在四處浪跡的過程中，他遇到了當時正擔任後漢樞密使的郭威。郭威此時正領兵在河中(今山西永濟)平叛，身強力壯精通武藝的趙匡胤於是就投到了郭威的旗下。

郭威即位（即後周太祖）時，趙匡胤任禁衛軍長，甚得當時開封府尹柴榮（即周世宗）的賞識，成了柴榮的親密部屬。周世宗即位後，趙匡胤在跟隨世宗的南征北討中戰功卓著，深得世宗的信任和重用，成為屈指可數的禁軍高級將領之一。

後周顯德六年(公元959年)，周世宗北征燕雲，勢如破竹。正當這個時候，世宗不幸染上重病，不得不返回汴京。回軍途中，周世宗帶病批閱文件，忽然發現一個韋編袋子，裏面有一塊三尺長的木板，上有「點檢做天子」五個字。古人迷信，周世宗以為這是上天的旨意，於是馬上想到自己的姐夫——時任禁軍統帥的殿前都點檢張永德。周世宗想，前代後晉的石敬瑭就是後唐的駙馬，後來篡唐立晉，自稱天子。張永德現在的地位和石敬瑭多麼相似啊，於是周世宗立即下詔免去張姐夫的點檢一職，改任平時看上去老實厚道又曾立戰功的趙匡胤為殿前都點檢。周世宗這麼做的原因是擔心自己的姐夫張永德在禁軍內外黨羽眾多，可能在將來危及兒子的帝位，而趙匡胤寒門行伍出身，應該沒有纂位的可能。然而非常湊巧的是，第二年的春天，趙匡胤就發動了陳橋兵變，篡奪了後周政權建立了宋朝，最終還是點檢做了天子。