婚後，二人男耕女織，相親相愛，生活十分美滿，還生了一兒一女。但是他們的婚事被天帝和王母娘娘知道了，就派天神把織女捉回天廷問罪。牛郎帶著兒女追趕，到了銀河才發現，這條河已被搬到天山，天帝分界，仙凡異路，從此牛郎與織女被銀河隔開了。牛郎隻好帶著孩子們在人間生活了。
有一天，老牛又說話了，出了一個好主意。老牛說：“我快死了，我死後你把我的皮剝下來，穿在身上，能夠上天，與織女相見。”說畢，老牛死了，牛郎就按老牛的辦法做了，披著牛皮，挑著孩子，上了天界尋妻。正當牛郎與織女要相見時，被王母娘娘發現了，她拔下頭上的金簪，沿著銀河一畫，清澈的銀河一下子變成了波濤翻滾的天河，從而又使牛郎與織女隔河相望。
牛郎並沒有灰心，為了堅貞的愛情，為了孩子尋找母愛，牛郎以木瓢舀天河之水，牛郎舀累了，由子女舀，子女舀累了，再由牛郎舀，就這樣一日複一日，一年複一年，一直在舀天河的水。他們的行動，感動了天帝和王母娘娘，允許牛郎織女每年七月七日晚上相會。《月令廣義?七月令》引《小說》：“天河之東有織女，天帝之子也。年年機杼勞役，織成雲錦天衣，帝憐其獨處，許嫁河西牽牛郎，嫁後遂廢織?。天帝怒，責令歸河東，但使一年一度相會。”為了相會，由鵲雀搭橋，二人在鵲橋上相見。《風俗記》：“七夕織女當渡河，使鵲為橋，相傳七夕鵲首無故皆髡，因為梁以渡織女故也。”《西京雜記》：“織女渡河，使鵲為橋，故是日人間無鵲。至八日，則鵲尾皆禿。”織女在鵲橋上看見牛郎時，免不了傾吐衷情，甚至流淚，傳說七夕節下的細雨，就是織女的眼淚，民間一看見下雨就說：“織女姐姐又哭了。”道光《綦江縣誌?歲時》：“七月七日，俗稱牛女相會，如女式陳瓜果乞巧。遇雨，謂之‘灑淚雨’。”
從此，牛郎也住在了天上，但是與織女不能相聚，因為天河相隔。秋天夜空明朗，在銀河兩邊有兩顆大星，就是牛郎星和織女星，與牛郎星成直線的兩顆小星，就是牛郎的兒女。稍遠的地方有四顆小星，是織女投給牛郎的四個梭子。在織女星附近有三顆小星，呈等腰三角形，是牛郎投給織女的牛拐子。據說牛郎把情書拴在牛拐子上，織女把情書拴在梭子上，互相傳遞信息，溝通愛情。
在這裏，人們把牛郎、織女的故事與天上星座聯係起來。《太平禦覽》卷六引《大象列星圖》：“河鼓三星在牽牛北，主軍鼓，蓋天子三將軍也。中央大將軍也，其南左星左將軍也，其北右星右將軍也；所以備關梁而拒難也。昔傳牽牛織女七月七日相見者，則此是也。故，《爾雅》雲‘河鼓謂之牽牛’。又古歌曰：‘東飛伯勞西飛燕，黃姑織女時相見！’其黃姑者，即河鼓也，為吳音訛而然。今之言者謂是列舍牽牛而會織女，故為此分析，令知斷其疑也！”另外，在各地民間年畫、剪紙中經常會出現有關七夕節和牛郎織女的故事內容。