趙聽了劉辰翁的話後陷入了沉思，他現下已經明白安置歸正人不僅僅是一個政策問題，且是一個牽一發而動全局的難題，同時也是一把雙刃劍，弄不好反而會傷到自身。而即便在前世，現代移民也是令各國十分頭疼的事情，畢竟人到了哪裏都麵臨著生存問題，而大量移民的湧入還會涉及到國家安全。
在分析了當前宋朝實施的移民政策後，趙也發現其中透露出了曆代祖宗的無奈和矛盾心理。宋朝因為失去了地理上的庇護，外患始終是揮之不去的夢魘，而國家安全受到的外來威脅主要來自遼、夏、金、元。契丹給北宋造成的亡國威脅遠大於西夏，而西夏給北宋造成的國防壓力則遠甚於契丹。金不僅亡了北宋，而且長期對南宋國家安全造成嚴重威脅。元則最終滅了南宋。相比之下，西南少數民族對宋朝國家安全構不成威脅。
這種差別導致宋朝對它們采取了不同策略。對西南少數民族，宋朝“禽獸畜之，務在羈縻，不深治也”。對西北諸政權，則以勁敵待之，積極防禦，不輕易主動發動戰爭，爭取、維持和平局麵。兩種策略雖然都務在保持邊疆穩定，但在實施過程中，宋朝於前者表現出很大的主動性，於後者則受製於西北.諸政權，極為被動。宋朝對歸明、歸朝、歸正人政策的諸多差別實源於此。
宋朝自建國後，一直想收複，但礙於契丹武力強盛，長期不能如願。澶淵之盟雖確立了宋遼長期的和平局麵，但在國防上，北宋被動的地位一直未能改變，及時掌握遼在燕雲地區的動向，就顯得特別重要，而燕雲歸朝人可在其中發揮重要作用。
如此一來，與歸朝、歸正人相比，尤其是在對待西北歸明人上，在田宅、職田等方麵享受更優厚的待遇，實則是為了吸引更多的歸明人，雖然神宗曾說：“中國人固多，誠不賴夏人”，但歸明人對宋朝國防具有其他來歸之人不可替代的作用。但宋朝對西北歸明人的招誘、接納基本上被限製在戰爭期間，而對西南歸明人的接納則不存在受製於人的問題。而在吸收了大量移民後，宋廷獲得了實惠的同時，也背上了沉重的負擔。
在安置“歸正人”的過程中，宋廷對於每一類人群都有其相應的政策，這些政策對於“歸正人”來說是非常優厚的。但是，“歸正人”優厚的待遇，不僅帶給了南宋政府極大的財政負擔，同時也激起了南方本地勢力的不滿。而政府在處理這類矛盾時，似乎並沒有太多好的辦法，他們一方麵優待“歸正人”，一方麵又不信任“歸正人”，甚至會迫於金朝的壓力遣返“歸正人”。
如此造成了“歸正人”在社會上的尷尬地位，也激起了“歸正人”的怨恨之心。當主戰派在朝廷上得勢的時候，南宋就會想盡一切辦法收納、誘使北人南遷，並給予最大的物資支持。當主守派得勢的時候，歸正人就會陷入很尷尬的局麵，甚至有時麵臨被遣返的下場，這些被迫北返的歸正人，飽受報複與歧視，生活常陷於絕境，必然會使這個群體對宋生產了嚴重的怨恨。
與此同時，在宋朝官冗、財政危機局麵形成及日趨嚴重的過程中，歸明、歸朝、歸正人起到了推波助瀾作用。鑒於此，宋朝雖然總體上對他們采取了優待政策，但迫於壓力，隻能根據國家安全形勢及其所起作用的變化，在已有優待政策基礎上，進行適當調整，限製優待對象，降低優待標準，以緩解冗官、冗費和財政危機的壓力。
朝野中也對移民問題爭論不休。支持者認為，對歸正人的態度，顯示著宋王朝的“正統”，是收攬中原人心、爭奪中原人才的一個必要舉措。同時可以增加人口與耕地麵積，可以補充軍隊兵員，還可以了解敵國的內部情況與動向。因此，不僅不能拒絕，還要重金招納。