第二天，牛郎就離開了。他趕著一輛破牛車，裝上一口破木箱就出發了。他什麼都沒要，隻要了那頭老牛、那輛破車和那口裝著他衣物的破木箱。他不知道要去哪裏，隻是一個勁兒地走啊走，希望離嫂子越遠越好。
當夕陽西沉時，他來到了當初夢見白胡子老人的那棵大桑樹下。這棵桑樹長在一個小山坡下，山坡四周風景秀美，山腳蜿蜒著一條清澈的小溪，山上綠樹成蔭，山前有一圈綠樹環圍著一大片原野，正好適合耕種。牛郎在這裏停住了腳步，他決定在這裏安家落戶。他到山上砍來許多樹枝，在老桑樹下搭建起一座小木屋。
從此，牛郎每天天剛亮就下地耕作，天黑後才回家。雖然日子過得很辛苦，卻自由自在，再也沒有人虐待他。一年後，牛郎逐漸把小木屋營造成一個小小的家，靠著地裏的收成勉強可以度日。可是，除了那頭老牛以外，冷清的家裏隻有牛郎一個人，日子過得相當寂寞。有時候，惆悵的牛郎望著滿天星空，對老牛訴說起了心事：“老牛啊老牛，你說我一個人多孤單啊？這樣的日子還要過多久呢？”
老牛像是聽懂了牛郎的話，眨了眨眼睛，再次開口說話了：“牛郎，今天你去碧蓮池一趟，那兒有仙女在洗澡，你把那件紅色的衣服藏起來，穿紅衣服的仙女就會成為你的妻子。”
牛郎聽了，不敢相信，問道：“老牛啊，這是真的嗎？”
老牛說：“真的，我不騙你。”牛郎相信了老牛的話，便來到碧蓮池，悄悄躲在碧蓮池旁的蘆葦叢裏，等候仙女們的來臨。
牛郎躲在蘆葦叢裏，心裏懷疑老牛說的是不是真的，一會兒相信老牛的話，一會兒又覺得牛居然會說話，還說仙女會做自己的妻子，這怎麼可能呢？牛郎正在那裏思索，突然看到果然有仙女們翩翩飄至，她們環顧四周，發現並沒有人，便脫下輕羅衣裳，縱身躍入清流，在水中嬉戲起來。牛郎見狀，便從蘆葦裏跑出來，拿走了那件紅色的衣服。
仙女們見有人來了，趕緊胡亂地穿上自己的衣裳，一個接一個地像飛鳥般的飛走了，隻剩下那個沒有衣服無法逃走的仙女，她正是織女。織女見自己的衣服被一個小夥子搶走了，又羞又急，卻又無可奈何。這時，牛郎走上前來，對她說：“我可以還你衣服，但是你可以做我的妻子，和我一起生活嗎？”牛郎還對織女說了自己這幾年來的遭遇，織女很同情他，加上她對牛郎也挺有好感，便答應做牛郎的妻子。
牛郎與織女，一個耕田，一個織布，在凡間過著幸福的生活。
三年後的七月初七，織女生了一男一女兩個孩子，男孩子叫全哥，女孩子叫玉妹。看著孩子們一天天長大，牛郎織女心裏無比快樂。然而，一件意想不到的事情卻發生了。
這天是金哥和玉妹七周歲的日子。牛郎早早地收了工，準備回家為孩子們過一個快樂的生日。他剛把犁扛上肩頭，突然晴空響起一陣霹靂。老牛回頭望了望牛郎，流出一行熱淚來，開口說話了：“孩子啊，這晴空突然響起的霹靂，應該是王母娘娘已經知道這事兒了。她一定會拆散你們夫妻的，織女也一定會被捉到天上去的。孩子，我快死了，我死之後，你就把我的皮剝下來。隻要披上我的皮，你就可以騰雲駕霧，去天上找尋你的妻子。”
老牛說完便倒地而亡。牛郎撫摸著老牛的身體，痛哭一場後，按照老牛的囑咐剝下了皮。就在這時，金哥和玉妹大哭著向他跑來。牛郎趕忙迎上去詢問究竟。金哥邊哭邊說：“爸爸，你快回家去救媽媽吧。中午，家裏來了一個老太婆，一下把媽媽從織布機上拖走了。趕快去追吧，爸爸！”
牛郎當即一手拉著金哥，一手拉著玉妹，帶著老牛皮飛奔回家。家裏已經找不到織女了。這時，牛郎聽到天上傳來織女的呼喊，抬頭一看，發現妻子正被一個老太婆強行拉往天宮。
牛郎趕忙取出兩隻籮筐，一隻裝上金哥，一隻裝上玉妹。然後，他披上牛皮，挑著兩個孩子騰雲追去。眼看就要追上了，王母娘娘卻拔下頭上的金釵在身後一劃，天空頓時出現了一條波濤洶湧的銀河，將牛郎和織女隔離開來。河太寬太廣了，根本飛不過去，牛郎不得不在河邊停住，想著從此再也見不到妻子，不禁放聲痛哭起來。金哥和玉妹見追不上媽媽了，也放聲大哭。
淒涼的哭聲傳到了天庭，驚動了玉帝。玉帝看見這對沒有媽媽的兒女挺可憐，就傳令下去，讓喜鵲們去銀河上架起一座鵲橋，以便牛郎一家相會。
從此，每年的七月初七，就會有一大群喜鵲奔赴銀河，首尾相接地架起鵲橋。牛郎便拉著金哥和玉妹從銀河的這邊踏上鵲橋，而織女呢，則從銀河的那邊踏上鵲橋。牛郎和織女在這天就可以鵲橋相會了。