因為趙前世就知道在異族入侵後，頭幾年的反抗最為激烈，但在異族的殘酷鎮壓和安撫下這種抵抗心理會隨著時間的延長而不斷的消退，直至心安理得的接受異族統治，忘記了故國，甚至成為異族的幫凶。自然也會被舊主視為叛徒和敵人，而宋朝曆史上這種現象又極為嚴重。
北宋時期，由於石敬瑭出賣了燕雲十六州，使得宋初幾次北伐失敗，導致北部邊界維持在舊黃河以北，並沒有完全占據曆史上的漢族舊地，也未將整個中原地區納入自己的統治之下，使得民族出現了分裂。但事情卻不是一成不變的，當幽雲十六州的漢人成為遼朝屬民之後，其不僅在性格方麵，而且在生活習俗上也開始發生全麵的“胡化”，這逐漸導致了宋人對其態度的變化。
在宋人看來，那些生活在“敵境”之中、著“胡服”、用“胡禮”、習“胡俗”的人，於己來說完全是一種異類。他們將處於契丹及以後女真統治下的漢人稱為‘北人’。這是個帶有歧視的稱呼，更將他們視為潛在的敵人，而那些舊遼守將都為漢人，可在宋人的筆下卻全變成了“虜”。有見識的士大夫尚且如此，下層軍民自然更不必說了。
雖如此，待落到實際作法上的時候，宋廷呈現在幽雲漢人麵前的卻又是另一副麵孔。其不僅沒有想辦法去消除宋人對遼朝漢人的排斥心理，減少“漢人”心中的疑慮，卻反而處處體現出不信任的態度，做出許多根本不把幽雲漢人當作子民、而是欺壓出賣的事來。
對歸正人的安置去處，無論降附還是自願歸來的，大致都要送往內地分散安置，目的是防止他們與‘舊主’內外聯絡。但與軍事形勢相比，戰爭的需求更為重要，強調“與漢軍雜處”、“與軍伍錯居”，說的就是編製上的參錯。而小規模集中編伍顯然有便於控製的考慮，因此歸附人以所部小規模編伍自相統屬，便於作戰時充分發揮其騎射優勢，是利用與控製相得益彰。
不僅如此，在幽雲十六州的漢人進入宋境後，北宋朝廷也沒有采取任何有效的措施避免宋人對其的歧視排擠，“州郡又往往不恤。或困於衣食，其在關下者，至於揭榜通衢人物往來處，稱其名氏，舊官封而已乞丐，執政雖睹之不問也。”
而“而燕雲兩路官吏散處中國，其嘯聚之民，並引處內地，中國之民，日夜疑之，而官吏亦不複以禮待遇，兩相忿恨，數至喧爭。”這使幽雲漢人和宋人的矛盾日益尖銳，直至引發金宋戰爭時期的巨大變故。可以說，北宋朝廷在進入幽雲後所做的一係列蠢事，使幽雲十六州的漢人對其大為失望，這其中不僅包括一時的政策錯誤，而且也是宋人對幽雲漢人的長期偏見導致的結果。
在軍隊中，歸正人受排擠的現象更為嚴重。相反金朝對宋開戰後，卻在劉彥宗等漢人的指點下采取了正確的決策，“金人已得燕，則鹽法盡仍舊，常勝軍屋業田土，盡給前主，燕人歸心焉。”兩下相較，幽雲漢人之心會歸附於誰，已經是一看便知的事了。
南渡之後，曆史上南北分裂造成的相互不信任和歧視現象不斷更為嚴重，而一些偶發事件則加深了兩者間的矛盾。而不信任感是長期存在於南宋朝廷之中的主流態度。包括朱熹，都直接把歸正人與漢代時的宦官、唐代時的藩鎮視為一類，認為這些人都是造成社會動亂的病根。因此，許多歸正的文官多不被授實職，添差後就將他們分散地安置在各州郡中。
對“歸正人”搖擺不定的政策，也引發大量歸正人的不滿，這種不滿從孝宗朝開始發酵，到後來越發嚴重，南宋軍隊尤其是前線最具戰鬥力的部隊中，由於歸正人的比例逐年增加，使軍隊的管理出現隱患。一方麵是這些北軍飽受排擠，另一方麵是南宋正軍在數量上不占優勢，使軍隊內部管理失控。這使得南宋不斷的失去北地民心，不僅徹底斷送了南宋北定中原的可能，也成為南宋滅亡的一個重要原因……