西伯昌馬上請呂尚一起回到周國都城。因為呂尚也是西伯昌的先君太公久已盼望的賢人，所以尊稱他為“太公望”。在周國，呂尚充當了西伯昌軍師的角色。
太公望開始輔佐西伯昌之後，兩人暗修德政、明練兵馬，其實是為推翻商朝作準備。這其中，有關用兵的權謀和奇妙的計策，大多出自太公望，因此後人談論用兵策略以及周朝的秘密權術時，都認定太公望是最初的謀劃者。很快，西伯昌也就是後來的周文王和平解決了虞芮兩國的爭端，成功地討伐了崇、密須、犬夷等國，大規模地興建城邑。周文王時期，天下已有三分之二的諸侯聽從周國的調遣，太公望的功勞不可抹殺。
周文王去世之後，周武王繼位。周武王九年，周國準備東伐商紂王，首先試一試究竟會有多少諸侯國響應。已被尊稱為“師尚父”的呂尚左手持黃鉞（yué），右手持白旄（máo），嘴裏念念有詞：“蒼兕（sì）呀蒼兕，率領你所有的民眾和舟船槳楫，快來吧，遲到的斬首！”到達盟津（今河南省孟州市西南）的時候，不約而同地前來的諸侯竟達到八百多個。諸侯們都主動提議：“快去討伐紂王！”周武王卻說：“時機還不成熟，需要再等待。”便率師回國，與師尚父呂尚一起寫下了《泰誓》一文，表達了推翻商朝的決心。
兩年後，商紂王殺死大臣比幹，囚禁箕子，百姓的忍耐已超過了極限。盡管周國公卿大臣還有異議，但師尚父力勸周武王出兵。周武王便出兵討伐，終於把商紂王的軍隊擊潰。周武王砍下商紂王的頭，把它懸掛在大白旗杆上。周武王還把大臣箕子等被商紂王關在牢裏的人都放出來，還重新修築了比幹的墓。周武王還遷移象征天子權力的九鼎，修治周朝的政治，與天下百姓一起，開創了周朝的新紀元。這一切，如果沒有師尚父的輔佐，是不可想象的。
周武王平定天下之後，把師尚父封在齊國營丘（今山東省淄博市東北）。師尚父到了齊國後，打敗了夷族萊國，穩定了齊國的局勢。在他的治理下，禮儀簡化，生產發展，人民和睦，工商發達。四方人們都投奔到齊國。周成王繼位時，命師尚父可以在“東到大海，西到黃河，南到穆陵，北到無棣”的地方征討，地盤歸齊。齊國由此成為大國。
據說，師尚父呂尚去世時，已經有一百多歲。