行伍在古代泛指排列的队伍或军队，古时兵制，五人为伍，二十五人为行蹑足行伍之间，该词出自《睢州志·名臣·袁可立传》，军队是指被授权使用致命武力及武器来保护其国家人民的利益的常规武装力量。
战国末期的思想家韩非在他的名作《五蠹》一文中已经明确指出“猛将必发于卒伍”，可见早在战国时代，已经习惯于从士兵中提拔军官，行伍出身已经被各国军队广泛认可。东汉末年至三国时期的连年混战中成名的一些名将，大多是行伍出身。