從建置沿革的角度觀察，公元331年，東晉成帝將南海郡的東南部劃出，增設東莞郡，下轄寶安縣等6個縣，郡治與縣治同在寶安。從此，香港、九龍、新界始隸屬寶安縣，經曆了南朝的宋、齊、梁、陳，以至隋、唐（至德二年）都無變化。
在唐代，香港、九龍、新界成為中央政權更加有效統治的地方。公元733年，唐朝在九龍屯門設防，鎮兵駐守，以防禦海寇的入侵。公元757年，唐朝又將寶安縣改為東莞縣，縣治由寶安遷至東莞。香港、九龍、新界這片地方從此屬東莞縣，經曆了五代的梁、唐、晉、漢、周，以至宋、元、明（萬曆元年）而未變。
明朝太祖年間，自1384至1394年，地方官廣東指揮在沿海設置衛所，分築炮台，屯種荒地。在南頭設東莞守禦所，在大鵬灣設大鵬守禦所，均歸南海衛管轄。屯門位於兩個衛所之間，設立炮台，以資分守。廣東左衛千戶張斌築九龍城，城周327丈多，修建了四個門樓，四個敵樓，城上配有大炮兩尊。這些防衛措施是有效的。1514年，葡萄牙人占領馬六甲後，派使者來屯門，竟在屯門設寨紮營，刻石立柱，有占領之意。1521年，廣東巡海道汪□奉命討伐，將葡人掃地出門，全部驅逐。
1662年至1664年，清康熙年間，政府為防止沿海人民與鄭成功交往，將沿海50裏處劃一界線，命令線外居民遷入界內，違者處死，史稱“遷海政策”。根據這一政策，香港島、九龍、新界多在線外，故西起新田，東到沙頭角，共有24個鄉應遷入界內。經過“遷海”，香港島、九龍、新界大部分地區沒有居民，土地荒蕪。幾年後，由於廣東巡撫、總督上書力陳允許展界，準許人民返回海邊故居複業。1669年，清政府準許展界，居民踴躍返鄉。1684年，鄭成功抗清失敗，清政府準許全部被遷居民回原居住地，恢複正常社會生活。
清初至鴉片戰爭前，香港地區有了較大的發展，來自廣州、惠州、梅縣、海豐、陸豐以及福建南部沿海的居民紛紛遷居九龍半島、香港島、大嶼山等島。1817年，清朝的兩廣總督派人勘査大嶼山島的大澳、東湧兩處地方，報稱：“二處亦俱有村落，民居稠密”，“澳口多漁艇，蛋民（水上居民舊稱）叢雜，不下數千艘”，並采取了編製保甲，設長統領的行政措施。
清朝期間，政府對香港地區的防務有進一步的增強。曆任海疆要職的陳倫炯，把香港島的紅香爐一地列入設防重點。康熙、雍正年間，管轄香港的大鵬營，改設參將駐紮，並在香港島設置“紅香爐水汛”，在佛堂門、大澳兩地建立了炮台。嘉慶、道光之際，大鵬營改分為兩營，設右營於大嶼山東湧口，並且建築了防衛城寨，增加防守兵士，有守備官駐紮。東湧古城上的六尊大炮，有的鑄有年代，證明為1805年建造。
1839—1840年，民族英雄林則徐、關天培領導抗英鬥爭期間，把大鵬營升級為大鵬協，大鵬所城改設都司，大鵬協副將移居九龍山，居中調度。他們還重新恢複了一度被裁減的紅香爐汛，在尖沙嘴和官湧等處添建了炮台。林則徐曾莊嚴宣告：香港、九龍灣、尖沙嘴均是“中華寶土”、“天朝洋麵”，“須知天朝地方，不可冒昧輕犯！”（《林則徐集·公牘》，第136—138頁）。