新巴比倫王國攻占猶太王國後，包括國王、貴族、祭司和工匠在內的上萬名猶太人戴著手銬腳鐐，被掠往巴比倫，此即曆史上著名的“巴比倫之囚”。至此，希伯萊王國徹底覆滅。自此時起直到公元前538年，以色列人進入其曆史上為期近半個世紀的被擄時期。這一時期的曆史雖然不長，但在希伯萊民族史上十分重要，影響深遠。巴比倫囚虜事件，對於希伯萊民族凝聚力的加強，對於猶太教的進一步發展，乃至對於猶太複國主義思想的根植，都起到了重要的作用。
猶太自治省
新巴比倫王國對西亞的統治並沒有維持太久，公元前538年，新興的波斯帝國滅亡了新巴比倫帝國，希伯萊人轉而成為波斯帝國的臣民。波斯大帝居魯士需要在地處西亞北非間要塞的巴勒斯坦由希伯萊人建立一個穩固而友善的據點，它既可作為進擊埃及的理想跳板，又能用以抵禦希臘人的東侵。同時鑒於猶太教一神觀符合其鞏固專製統治的利益，居魯士便準許流亡的希伯萊人重返家園，並支持他們在耶路撒冷重建聖殿，複興猶太教。他下詔通告全國：“耶和華天上的上帝已將天下萬國賜給我，又囑咐我在猶大的耶路撒冷為他建造殿宇。在你們中間凡作他子民的可以上猶大的耶路撒冷，在耶路撒冷重建耶和華以色列上帝的殿。願上帝與這人同在。凡剩下的人，無論寄居何處，都要用金銀財寶牲畜幫助他們。另外，也要為耶路撒冷上帝的殿甘心獻上禮物。”
於是，在異鄉生活了50年之後，第一批約4萬名猶太人開始回遷。公元前537年，猶太人在一位大衛家族的王子所羅巴伯的率領下，經過幾個月的艱難的長途跋涉，終於回到了故土迦南，見到了他們魂牽夢縈的耶路撒冷。但是，回歸的希伯萊人已麵臨著一種完全不同於公元前586年以前的社會形勢：到處是斷壁殘垣，荒草叢生，大部分土地也被周圍遷移過來的亞捫人、以東人、摩押人所占領，他們隻好在一塊環繞耶路撒冷的不大的土地上定居下來，成為波斯帝國大馬士革總督統轄下的自治省。到公元前516年，經過20年的修建，耶路撒冷重建聖殿的工程方才竣工，猶太曆史上的第二聖殿時期開始。聖殿的重建，為散居各地的猶太人樹立了一個神聖有形的象征，成為堅定他們的宗教信仰、不受異族同化的精神支柱；同時，還象征著遭受滅頂之災的猶太人的重新崛起，是猶太民族不屈不撓的再生精神的具體體現。
希臘化時代
公元前331年，希臘-馬其頓王亞曆山大率領東征軍占領波斯首都蘇撒，滅亡波斯帝國，建立了地跨歐亞非的亞曆山大帝國，巴勒斯坦也隨之成為亞曆山大帝國的一部分，希伯萊人進入持續170年的希臘化時代。在幅員遼闊的亞曆山大帝國境內，被征服居民雜居交往，造成希伯萊人曆史上的第二次大流散，巴勒斯坦的希伯萊人逐漸流散到南歐、地中海諸島以及北非、中亞各地。公元前323年，亞曆山大病死巴比倫。隨後地跨歐亞非的龐大帝國一分為三，即安提柯王朝統治下的希臘及馬其頓、托勒密王朝統治下的埃及和塞琉古王朝統治下的敘利亞。後兩者為稱霸東方展開了持續近百年的“敘利亞戰爭”，夾在中間的巴勒斯坦先隸屬於托勒密王朝，公元前198年後，落入塞琉古王朝控製下。兩王朝繼續追隨亞曆山大推廣希臘文化的政策，僅在巴勒斯坦一地就建立起30多座多民族雜居的希臘化城市。
在這希臘化時代，無論已經流散於南歐、北非和西亞各地的希伯萊人，還是依然留居於巴勒斯坦的希伯萊人，在其物質和精神生活的方方麵麵都自覺或不自覺地受到希臘文明的浸染。公元前3世紀時，希伯萊語逐漸退化為一種主要用於祈禱和書寫經書的宗教語言，希臘語則為越來越多的希伯萊人接受、使用，並出現了一批希伯萊思想和希臘精神相結合的作品。猶太文化與希臘文化交融的結果，“創造出了一種獨特的、兼猶太與希臘特征的文化。這種文化不僅影響了古代哲學，而且對早期的基督教也起過相當大的影響”。
馬卡比王國
耶路撒冷有一位虔誠的祭司馬塔提亞·馬卡比，他有五個兒子：約翰、以利亞撒、猶大、約拿單和西門。父子六人為了反抗塞琉古王朝的殘暴統治，於公元前167年發動了馬卡比大起義。
起義隊伍節節勝利，力量不斷狀大。公元前161年，希伯萊人的領袖猶大在戰爭中犧牲。猶大的去世使希伯萊人麵臨深重的災難。塞琉古王朝官員和猶太叛教者對起義者及虔誠派進行反攻。在這危急關頭，起義者紛紛來到約拿單麵前，要他接續猶大，領導起義。約拿單抑製住心中的悲痛，領導起義將士繼續與敵人戰鬥。不久，長兄約翰又被敵人逮捕殺害，這更堅定了約拿單、西門和起義將士的鬥爭意誌。約拿單率領起義軍繼續與敵方將領巴克西得周旋作戰。巴克西得連續受挫後，不得不與約拿單談判求和，遣返猶太俘虜，並保證不再進犯希伯萊人。
可是到了公元前143年，有一位敘利亞將軍特利弗為當上塞琉古國王，意圖製服希伯萊人。他設計將約拿單誘捕，後又將其殺害。這樣，起義的領導任務自然而然地落到馬卡比家族最後一位成員、馬塔提亞的幼子西門身上。經過浴血奮戰，西門最後將敘利亞軍隊驅逐出去。一個嶄新的獨立自由的猶太王國在血與火的洗禮中逐漸形成。
公元前142年，塞琉古國王底米丟二世為借助西門的勢力以鞏固王位，便與西門訂立和約：允許希伯萊人享有各方麵完全的自由，廢除安條克四世對希伯萊人宗教信仰的強行規定，承認西門為猶太國祭司長，批準前王與約拿單所立之約，免除希伯萊人對塞琉古王朝的貢稅。這樣，在馬卡比家族的領導下，巴勒斯坦希伯萊人經過25年的不屈不撓的浴血奮鬥，終於擺脫塞琉古王朝的統治，恢複了希伯萊人的獨立和宗教信仰，以耶路撒冷為首都建立了一個政教合一的猶太神權國家，史稱馬卡比王國。
在西門當政期間，馬卡比王國一直處於和平的環境。據記載，當時“希伯萊人和平地耕種自己的土地，土地上生長五穀，樹上結著果實。年輕人炫耀著自己光彩奪目的軍服，老年人坐在城市廣場的周圍，談論著往昔的大事……人們在自己的葡萄園裏，無花果樹下，過著和平的生活，無憂無慮”。
公元前135年，西門被陰謀篡位的女婿多利梅暗殺身亡。隨即西門的第三個兒子約翰·希爾坎即位。希爾坎登基伊始就向外擴張，征服四周鄰邦，占領了外約旦、撒馬利亞和以士買，從而擴大了馬卡比王國的統治範圍，使之大大超過了所羅門時代希伯萊王國的疆域。但與此同時，猶太祭司內部發生分裂，出現複雜的派係鬥爭，再加上哈斯蒙尼家族內部爾虞我詐，爭權奪利，馬卡比王國的光輝逐漸消失，國勢漸衰。
公元前64年，正當馬卡比王國內部各派為爭奪耶路撒冷聖殿大祭司的職位爭吵不已時，早已虎視眈眈的羅馬帝國伺機而動。羅馬大將龐培於東征途中率領鐵騎攻陷耶路撒冷，將巴勒斯坦劃人羅馬帝國的敘利亞行省。同年，羅馬人任命了新的猶太王，哈斯蒙尼王朝正式滅亡。由此馬卡比王國在巴勒斯坦存在了一百多年之後終於覆滅，一度享受到獨立自由的希伯萊民族重新開始了他們漫長的苦難生涯。在此期間，猶太人曾發動了多次武裝反抗，但均以失敗而告終。
公元135年，羅馬暴君哈德良撲滅猶太人反抗羅馬統治的最後一次武裝起義，下令徹底摧毀耶路撒冷，不準猶太人跨入一步。至此，巴勒斯坦猶太人幾乎全部被逐或逃離。這第三次大流散結束了猶太民族主體在巴勒斯坦定居的曆史，猶太民族進入了為期1800多年的“世界性大流散時代”，從而在一種極其特殊的曆史條件下延續、發展著自己獨特的文明。