祁姓源于回族，属于汉化改姓为氏。回族祁氏，据考来自唐初进入中国，后于唐天宝十四年（公元755年）任大将军的古都白丁。古都白丁一族初在新安郡，北宋时迁至扬州，在历史文献《扬州府志》中有记载。后有族人以居地祁门为汉化姓氏者，即称祁氏。回族祁氏族人，主要分布在江苏省、河南省、湖北省地区。
祁姓发源于祁地，当时的祁地，几乎包括整个晋中平川。晋顷公十二年（前五一四年），祁奚之孙祁盈因罪被杀，食邑亦被没收，此后祁姓子孙散居晋地。三家分晋后，发源于祁地的祁姓在今山西、河北、河南等省散居开来。西汉时，见诸于史册之祁姓有杨王孙友祁侯它（一作祁侯），新丰（今陕西渭南西南）富人祁太伯。可见此际已有祁姓定居陕西。