經曆了前後兩次中國籍管理者在中國發展的不同方式和效果，柳井正心有感慨，作為一個商人，依靠自己的獨立判斷並沒有錯，但連鎖業發展到了今天的地步，如果不懂得調動團隊的力量，那注定是會失敗的。上下級之間的溝通，往往能夠決定事情的成功與否。
沒有任何成果的經營，就是失敗
在玉塚元一經營管理下的優衣庫，一直走在穩定發展的路子上，繼搖粒絨外套後，優衣庫又研發出了一種發熱內衣Heattech，銷量還算可觀，收購了theory職業服裝品牌，啟動了女性服裝專有品牌，又在大阪開設了一家有著近兩千平方米的優衣庫大賣場，並再一次在紐約成立了設計研究中心。另外，還在韓國首爾、美國新澤西、中國香港尖沙咀分別開設了分店。
從這些數據上來看，玉塚元一在這段時間中的努力是非常值得肯定的。柳井正也很中肯地評價，正是因為玉塚元一帶領著優衣庫，才讓他沒有了後顧之憂。在這一段時間，柳井正真正實現了自己做投資人的夢想。
似乎一切都在朝著良性發展的方向進行。但是在2004年年末的時候，因為遇到了暖冬，優衣庫這個季度的服裝幾乎一件也沒有賣出去，導致了大量的庫存積壓。為了減少庫存，不得不在第二年的二三月份進行降價處理。這樣一來，銷售額有所減少是必然的趨勢。再加上經濟危機的大環境，迅銷公司的多家分公司都出現了不同程度的財政赤字。
在2005年8月期的中間決算時，優衣庫的銷售總額同比增長了10.4%，但是營業利潤卻同比減少了9.9%，公司業績增加了，收益卻減少了，這個戲劇性的結局讓柳井正連續兩年增收增益的目標化為了泡沫。
這不是柳井正心中所期望的樣子。作為接班人，玉塚元一十分了解柳井正的作風，但是作為優衣庫的總管，他每天看著手下上千口人每天都等著向自己要吃飯錢，不可能沒有危機感。這種危機感讓玉塚元一選擇了穩妥的方式來保證大家都有飯吃，而不是拿著大家吃飯的錢去冒險，看能不能夠把白菜變成白肉。所以，玉塚元一沒有在這個時期抓緊時間進行擴張，而是選擇了“安定增長”的發展戰略。
在一次說明會上，玉塚元一做了言辭懇切的反省，他表示公司前期發展還是不錯的，但是激烈的年末商戰中，因為對一些細節上的問題采取了樂觀的態度，導致了大部分商品賣不出去。並表示，作為公司的經營者，以後要進一步提高自己做決定時的精確度。
但是玉塚元一這番反省之詞並沒有得到柳井正的諒解。當初柳井正將優衣庫交到玉塚元一手上，是因為他覺得年輕人應該更加富有挑戰精神，結果在麵對必須要突飛猛進的機會時，玉塚元一卻沒有選擇一鼓作氣地前進，而是選擇了穩健發展的策略。這讓柳井正十分不滿。尤其在開設大型優衣庫PLUS分店時，柳井正認為玉塚元一在這件事上缺乏積極性，導致了優衣庫失去了最佳的擴張機會。
盡管玉塚元一在這段時間裏做到了穩健成長，可是他並沒有帶領公司獲得更大的成功。這與柳井正的期盼完全不同。柳井正是個激進派。每年一進入12月份，柳井正照例就要開始思考應該在新的一年開始時給員工們傳達些什麼信息。每天他都會記下一點自己的小想法。在新年伊始，柳井正會給所有的員工們發一封電子郵件，郵件的內容便是自己記錄下來的那些話。他希望每個員工都能夠認真看一看這封信，從中體會到未來一年公司的發展方向究竟在哪裏。
最重要的是要明白一點，優衣庫始終是在向著夢想一直努力，而不是在原地停滯不前。
但玉塚元一卻是保守派，他經營的優衣庫，不是柳井正想要的結果。柳井正無法容忍這樣安逸狀態下的發展，這與他一直拚搏的目標相差甚遠，也不是他想象中的優衣庫應該保持的本色。他希望玉塚元一能夠理解自己的期望，也希望全體員工能夠明白自己的苦心。
優衣庫是不能停下前進的腳步的，柳井正的話像是警鍾一樣在玉塚元一的耳邊響起。這讓玉塚元一不得不認清一個現實，沒有任何成果的經營，就是失敗。
優衣庫不是便宜貨
真正讓柳井正燃起重新執掌優衣庫的念頭，是他與玉塚元一關於一次廣告策略產生的嚴重分歧。當時整個公司的表現令柳井正覺得，如果公司再按照玉塚元一的方式發展下去，就會自取滅亡。
令他們產生分歧的廣告戰略，是關於向消費者標明“優衣庫不是便宜貨”
的。這麼多年來，優衣庫一直背負著“便宜貨”的名號。不論在哪個國家開店，便宜貨都代表著是被淘汰的垃圾。一直以來，優衣庫的每一款熱銷產品，都是因為其以低於市價的水平銷售，所以難免會讓人對此產生“優衣庫就是便宜貨”的想法。因此，在沒有產生購買行為前，低價格在造成吸引力的同時也同樣會造就抵抗力。沒有人願意去買看起來掉身價的服裝，這不僅僅是麵子的問題。
因而，優衣庫一直追求的“價格便宜”的概念，恰恰也是柳井正最害怕聽到顧客說的一個名詞。他說，價格便宜其實隻是噱頭，消費者被拉進了店裏後才能明白，優衣庫的價格雖然便宜，但質量卻並不會因此而打折扣。但在消費者的印象中，“優衣庫等於便宜貨”的迷思曾一度占據著主流思想的位置。
以搖粒絨為例，1900日元的價格是當時任何一家經銷商都不敢去想象的事情。優衣庫的終極使命是，以最低的市場價格為消費者提供最高的商品質量。
柳井正最受不了的事情就是優衣庫被貼上“低價”的標簽，這就等於是顧客完全沒有意識到優衣庫的身上也有“高質”的標簽。單單看重一個而忽略了另一個，這根本就是對優衣庫的侮辱。
柳井正當然知道，優衣庫以低價贏得了消費者的青睞，可想要改變這一偏見，並不是那麼簡單。甚至還有不少消費者認為，優衣庫以如此低的價格進行運作，他們的產品背後一定有貓膩。盡管從服裝質量上根本找不到可以挑剔的地方，但這無法讓人們破除懷疑。有人說，優衣庫的衣服都是被人挑剩下的，因此才會賣得如此便宜。畢竟，搖粒絨上市的時候，優衣庫打出來的第一張牌就是低價，人們會這樣想一點都不奇怪。
柳井正曾試圖澄清這一點，他說：“優衣庫的商品賣得再好，如果隻是因為‘價格低廉’，對公司的未來也是沒有一點好處的。”言外之意是，我們雖然有著更低的價格，但不代表我們是更低的質量。低價是進入人們視野的首要標簽，但搖粒絨能夠持續熱銷三年的時間，又怎麼可能僅僅隻是因為價格低呢？在行業內，想要做到比優衣庫的價格更低並非難事，真正難的一點在於，既要做到價格低，又要做到質量有保證，兩方都平衡了才能夠獲得消費者的青睞。
柳井正更著重強調：“我們想做的不隻有‘便宜’，更是有特色的衣服。”價格便宜隻是一個方麵，一家店鋪是否能夠長久經營下去，最終是要看其是不是能夠滿足消費者日益變化的需求，而不是單單隻用低價來遮蓋自己身上的千瘡百孔。
然而，現實的情況依舊顯得很嚴峻。媒體總是試圖從自己理解的層麵上來解讀優衣庫，但結果往往會與現實相差十萬八千裏，消費者在很大程度上容易受到媒體的誤導。這就使得所有的事情都將變得更加難辦。現在，一提到優衣庫，消費者關心的事情就是其服裝的價格到底會低到什麼樣的程度。柳井正擔心，如果這樣的思路長期發展下去，一旦某一天優衣庫的價格沒有達到消費者的預期，那個時候的優衣庫還能夠熱銷嗎？
為了終結“優衣庫就是便宜貨”的迷思，柳井正認為有必要在公司內部展開一場變革。但玉塚元一卻覺得根本就沒有必要這麼做，優衣庫的價格便宜是事實，經營者沒有辦法管住消費者的嘴巴。除非優衣庫改變經營策略，如此才能讓低價的誘惑徹底消失。
但柳井正還是想要嚐試一下，他不相信消費者僅僅隻是因為價格低才來優衣庫購物的。於是，在2004年9月底的一份報紙上，柳井正刊出了一則“優衣庫放棄低價”的宣言。在宣言中，柳井正說明了優衣庫為了控製產品的生產成本而做出的一係列努力。最終的結論是，盡管優衣庫的服裝是以低價出售，但並不代表優衣庫的服裝是低質量的。而且，優衣庫也絕對不會僅僅滿足於低價的現狀，柳井正想要的未來是優衣庫能夠以高質量來贏得口碑，低價隻是霸占市場的一種策略而已。
令柳井正沒有想到的是，當這個廣告在公司內部一經提出後，除了他自己和廣告策劃人以外，幾乎引起了全公司員工的反對。對柳井正而言，這並不是一則普通的宣傳廣告，在這個廣告中，表明了公司今後的發展戰略和方向，是公司做出的重大決定。可是麵對這樣的重大決定，大家卻一致采取了抵製的行為。這件事從表麵上看來，僅僅是一次方案沒能得到大家的認可，但實際上卻反映了當時公司每個人的真實狀態，那就是大家都認為“現在這樣就很好，沒有必要進行改革”。
這個現狀讓柳井正感到焦慮。他再次像自己做社長時那樣，到各個工作現場巡視。巡視的結果讓他十分痛心，他發現大家都忘記了曾經擁有的挑戰精神，患上了大企業的通病，大家都不再想著怎樣繼續前進，而是想著如何維持好現狀，然後等著退休養老。這是“穩定發展”思想下產生的後遺症。如果公司每個人都抱有著穩步發展的想法的話，優衣庫就會在這場競爭中徹底輸掉。
在銷售額急速下跌而優衣庫的名氣卻越來越大的這一時期，柳井正認為，優衣庫需要的是挑戰，而不是“養老”。
於是，柳井正提醒每一個員工說，不要隻是把目光放在優衣庫的當下，要知道，這家看似不起眼的公司將來是要和GAP、H\\u0026M、ZARA這樣的世界級對手打擂台的。如果一旦產生了“這樣做就夠了”的心態，這就已經證明是在消極怠工了。
雖然柳井正曾不止一次肯定過玉塚元一所做出的努力，但是玉塚元一還是感受到了柳井正對自己工作方式的不滿。於是，在2005年7月份的第四半決算的發布會上，玉塚元一提出了辭職的意向。
重掌江山
玉塚元一其實很不幸，在這個節骨眼上接下了柳井正的接力棒。當時優衣庫麵對的最大危機是如何保持自己的市場份額，而不是去爭取更多的江山。玉塚的做法固然有些保守，但正是因為這種保守的做法才讓優衣庫平安渡過了這一段困難時期。
但柳井正卻認為，最好的防守方式便是攻擊。一個人、一家公司如果失去了攻擊性，就徹底失去了存在的意義。所以，在沉寂了兩年後，麵對優衣庫日趨下滑的態勢，柳井正再也坐不住了。
他要重新出山，一圖自己的優衣庫霸業。
麵對玉塚，這位即便沒有功勞也有著許多苦勞的年輕人，柳井正語重心長地說：“我本以為玉塚引領的年輕經營團隊，應該是極具挑戰精神的，所以才把董事長一職讓位於他。然而，不知是性格原因還是成長環境太過優越，玉塚卻更傾向於穩妥的經營方式。有時在突如其來的機會麵前未能放手一搏，在大型店鋪的開店策略、宣傳單的發放方式等方麵跟我的意見也有相悖的時候。”
正是如此，柳井正意識到了玉塚作為經營者的不足。
柳井正也很清楚，優衣庫是自己一手創辦起來的，這就像是自己的孩子一樣，他會不顧一切地讓孩子去拚個頭破血流。但玉塚隻是被任命的管理者，他上要對得起優衣庫的開拓者，下還要對得住優衣庫的所有員工，夾在中間的位置，玉塚的基本任務就是不讓公司陷入經營困境。不冒險，自然就不會有困境，這成了困擾他創新經營的死局。
柳井正從來不認為自己會看錯人，即便玉塚和他的經營思路完全不一樣，柳井正也對玉塚的工作給予了極大肯定。畢竟，玉塚身上的才華不會因為這一點小瑕疵而被掩蓋掉。柳井正自認為屬於激進派一列，他並不想優衣庫僅僅隻是作為一個普通的購物商場存在於日本市場。在柳井正看來，若不積極進取，那麼整場經營活動都是失敗的。他和玉塚深談了好幾次，最後玉塚辭去了社長的職位。
雖然從玉塚手中拿回了優衣庫，但柳井正仍希望玉塚能夠擔任剛剛收購的歐洲一家分公司的董事長。等若幹年後重返日本時，柳井正會給他提供一個滿意的職位。可玉塚最終還是拒絕了，他選擇了離開。