張又俠1968年參軍，大多數時間在指揮和戰鬥的一線度過。1979年對越自衛反擊戰，時任第14集團軍40師118團下轄連長的張又俠隨部隊開赴前線，後被提升為團長。1984年，中越邊境烽煙再起，張又俠以第14集團軍40師119團團長身份再次開赴老山戰役前線作戰，後升任副師長、師長。
20世紀90年代中後期，張又俠任第13集團軍副軍長，並在1997年晉升少將軍銜，2000年升任該集團軍軍長；2005年，張又俠跨大軍區交流擔任北京軍區副司令員，躋身副大軍區級；2007年7月胡銱濤給張又俠授予中將軍銜，兩個月後任命為瀋陽軍區司令員。2011年7月，胡錦濤再次授予張又俠上將軍銜，從而成就了軍史上繼原軍委副主席張震和原二炮政委張海陽之後的第二對「父子上將」。
張又俠的父親是開國上將張宗遜，張宗遜擔任副總參謀長等職務。1955年10月，張宗遜與王震等57名將領一起被授予上將軍銜。1973年，張宗遜轉任總後勤部部長。1998年9月，張宗遜因病在北京逝世。
張又俠早期提拔者是朱啟上將(原北京軍區司令員)，朱啟的主要提拔者是傅全有上將(原總參謀長)，傅全有是一野軍官，張又俠父親張宗遜是一野副司令員。習近平以為通過苗華和何衛東這些搞政工的人扳倒張又俠掌控軍權，結果失算了。郭伯雄徐才厚房峰輝張陽很容易被扳倒了，因為他們都是平民子弟，真正有影響力的老軍頭遲浩田、傅全有、于永波、曹剛川還包括去世的張震都是張宗遜舊部。
