關羽在荊州期間，還認真訓練了一支數量可觀的水軍，為劉備後來群雄相爭。
曹操建安十三年（208年）。七月，南下征討荊州。劉表八月病死，代任荊州牧的劉瓊屯襄陽，劉琦出鎮江夏郡，劉備率關羽屯駐樊城（今屬湖北襄樊市）。曹操剛到新野，劉琮降，劉備聞訊，遂率關羽南撤。到當陽（今湖北當陽縣東）地界，劉琮左右及荊州百姓追隨劉備。劉備已達十餘萬眾，輜重車輛數千，每日僅行十餘裏。有人勸劉備急速占據江陵（今湖北江陵）險要，以利抵抗曹軍尾追。劉備不忍將隨行百姓棄之不顧，遂命關羽率一隊水軍前往江陵接應。
劉備剛剛到達當陽縣長阪（位今湖北當陽東北），被曹操所率精銳人馬追上。劉備自知難以抵抗，便與諸葛亮等少數人疾疾退走，幸由張飛切斷曹操追兵，劉備才小路赴漢津（漢水重要渡口，位今湖北沙洋），與順漢水而下的關羽水軍彙合。關羽水軍掩護劉備渡過漢水，繼續向南轉移，在江夏太守劉琦的接應下，前往夏口。關羽隨劉備到夏口後，諸葛亮向劉備提出了東聯孫吳共抗曹操的建議。劉備遂令諸葛亮往柴桑（今江西九江市西南）拜會孫權。
孫權，字仲謀，他承父兄之資，據江東六郡，在長江中下遊地區已成一方勢力，劉表病死後，他也對荊州心存企圖。曹操南下占領荊州後，給他下了一封頗具意味的戰書：
（《三國誌·吳書·吳主傳》裴注引《江表傳》）
近者奉辭伐罪，旌麾南指，劉琮束手。今治水軍八十萬眾，方與將軍會獵於吳。
諸葛亮來前，孫權已在周瑜、魯肅的勸說下，下定了與曹操決戰的決心，諸葛亮見到孫權後，再次為其陳說各自形勢，使他更堅定了信心，表示“吾不能舉全吳之地，十萬之眾，受製於人，吾計決矣！”為了使孫權能更愉快地與劉備聯手抗曹，諸葛亮又進一步說道：
“豫州（劉備稱劉豫州）軍雖敗於長阪，今戰士還者及關羽水軍精甲萬人，劉琦合江夏戰士亦不下萬人。曹操之眾，遠來疲弊，聞追豫州，輕騎一日一夜行三百餘裏，此所謂‘強弩之末，勢不能穿魯縞’者也。故兵法忌之，曰‘必蹶上將軍’。且北方之人，不習水戰，又荊州之民附操者，逼兵勢耳，非心服也。今將軍誠能命猛將統兵數萬，與豫州協規同力，破操軍必矣。操軍破，必北還，如此則荊、吳之勢強，鼎足之形鹹矣。成敗之機，在於今日。”（《三國誌·蜀書·諸葛亮傳》）
孫權聽罷，十分高興，遂命周瑜、程普為左右都督，魯肅為讚軍校尉，率水師數萬與劉備共抗曹操。關羽與劉備在夏口等候消息，不久他們又東赴樊口（今湖北鄂城市西北）。劉備得知周瑜率水師而來，大感振奮，對關羽、張飛說：“今與孫權相盟，若不對其慰勞，似乎顯不出咱們的一番誠意。”於是就獨自往周瑜處拜會。
孫劉聯軍在浩渺的長江兩岸，與曹操展開一場大決戰。雙方在赤壁（今湖北嘉魚縣東北、湖北武昌縣西赤磯山，今湖北蒲圻西北赤壁山）遭遇。曹軍遠來疲弊，不習水戰，又水土不服，疾病流行，新附的劉琮兵又多狐疑不定，戰鬥力極差。周瑜使黃蓋詐降，巧借風力用火攻擊，盡燒曹軍戰船。曹操從華容道（位今湖北潛江縣西南、沙市東）逃竄，沿途道路泥濘，老弱殘兵被戰馬踏死者甚眾。劉備，周瑜水陸並進，關羽、張飛又率奇兵突襲，使曹操大敗，逃往南郡。
孫、劉聯軍赤壁之戰勝利後，又乘勝向江陵的曹仁出擊，關羽、張飛奉命率軍截擊敵人退路。不久，曹仁撤走。周瑜以南郡太守身份屯駐江陵，孫權以軍騎將軍領徐州牧，程普領江夏太守治沙羨（今湖北武漢市武昌西南）。劉備南略荊州江南四郡，武陵、長沙、桂陽、零陵四郡太守皆降附，劉備以左將軍領荊州牧，移治公安（今湖北公安西北），勢力大盛。
劉備得荊州後，關羽受命以蕩寇將軍領襄陽太守，駐守江北，張飛被委任為直都太守，後轉南郡，趙雲則領桂陽太守。
孫權曾打算與劉備聯手西取益州（治今四川成都市），以免為曹操占先而危及荊州。劉備有意依托荊州獨吞益州，拒絕了孫權，孫權不甘心，仍派水軍屯夏口，劉備遂命關羽屯江陵，張飛屯秭歸（今湖北秭歸），諸葛亮據南郡，他自屯於孱陵（今湖北公安西），使孫權水軍無法西進。
益州牧劉璋建安十六年（211年）冬，得悉曹操大將鍾繇向漢中（今陝西漢中）進擊張魯的消息，十分恐懼，在張鬆的勸說下，派軍議校尉法正前往荊州迎劉備入川助討漢中張魯，以免曹軍藉漢中南攻益州。劉備臨行前，命關羽留守荊州，總督荊州事務，關羽在荊州獨當一麵，他屯守荊州，對於劉備西定益州起了重要作用。劉備入蜀後，甚得劉璋的倚重，資給甚厚，他未急於征伐漢中張魯，卻厚樹恩德以收買人心。孫權建安十七年（212年）十月，因曹操來攻濡須口（今安徽巢縣西），派人向劉備求救，劉備派人告知劉璋說：“曹操南攻孫權，孫氏危急，孫氏與孤本為唇齒，關羽在荊州與曹將樂進相峙，關羽兵力不足，若不立即返救關羽，必遭樂進挫克，荊州一失，形勢要比漢中張魯更令人擔憂，張魯自守之賊，不足為慮。”打算向劉璋多借兵馬和軍需還救關羽。劉璋僅許其部分要求，旋因張鬆聯絡劉備謀取益州事發，劉璋斬了張鬆，與劉備撕破臉皮，劉備便向益州各郡縣發動了攻擊。又調留守荊州、輔助關羽的諸葛亮、張飛、趙雲等率兵溯江水而上，攻城略地，南北夾攻成都（今四川成都市）。劉璋不願戀戰，以免多傷人命，在從事中郎簡雍的勸說下，出城投降。建安十九年（214年）五月，劉璋被遷至公安。劉備占領成都，