其實，一家公司若要像沃爾瑪公司那樣迅速增長，它們會產生許多重複的機構，而且會有一些公司裏並不需要的商業領域，這就需要精簡。盡管精簡不可避免地會牽涉到裁員，但是公司最高管理層有職責隨時考慮此問題，以確保整個公司有一個穩定的未來。
沃爾瑪的經營始終如一地遵循當他隻擁有五家商店時所采用的相同原則。那就是，管理費用以銷售額2%來劃分。
換句話說，用2%的銷售額就足以支付沃爾瑪的采購費用、一般管理成本、經理的工資——以及開始增加地區經理或任何其他公司職員後所增的工資。實際上，到了90年代沃爾瑪的這方麵支出的百分比比30年前還要低，並且包括計算機支出和分銷中心維持所需的大量費用——盡管它不是分銷中心運營的實際成本。
早期，大多數公司支出以其銷售額的5%來進行一般管理，沃爾瑪總是力求精簡，用較少的人員經營，並且每個人員幹得比其他公司要多。公司裏所有人都要起早摸黑地幹。
因此，許多第一次來訪的客人都會對沃爾瑪經理人員的辦公室感到驚訝。因為，在他們看來，這些所有經理人員的辦公室就像是在卡車終點站所能找到的那種司機休息室。在沃爾瑪山姆和總部經理都在一幢單層的、辦公室兼貨倉的建築物內工作，辦公室很小，四周牆壁是廉價的護牆板。即使當沃爾瑪壯大為跨國的大零售集團時，山姆也從來沒有豪華家具或者厚厚的地毯，也沒有專為經理人員設置的酒吧套間。對此，山姆說“但我同大家一樣都很喜歡這些辦公室。
我們肯定得不到什麼室內裝潢獎，但它們就是我們所需的一切，而且人們照樣幹得不錯”。
為防止官僚主義作風，山姆一再強調避免自負的重要性，因為許多官僚機構實際上是一些公司王國創建者自負的產物。山姆說：“如果你不是為顧客服務，或者支持那些這樣做的員工，我們就不需要你。當我們謙虛經營時，對於那些非常自負的人，我們要警惕……你並非一定要具備一種謙遜的自我才能在此工作，但你最好知道使自己顯得謙虛，否則你可能就會陷入麻煩。”因為，“隻有從小處著想謙虛經營，公司才能發展壯大”。
正因為堅持這一信息，沃爾瑪才不斷發展壯大。
這方麵有一個例子說明了山姆對此的重視和他如何敦促他的下屬加以改進的。當零售商品到達某家商店的後門時，它應該標有準確的價格或者當場準確地標上價格。但由於這些工作經常不能很好地完成，於是他們創建了稱為測試掃描員的崗位，讓這些帶著手持掃描儀的人員在商店內巡視以確保每樣商品都標上準確的價格。雖然職位很少，但是絕不屬於商店平時的人員位置。山姆就認為這個職位沒有必要設。
現在仍然還有一些測試掃描員，但他們所做的是要仔細檢查從辦公室運往商店後門的過程，以確保他們能夠更經常地從一開始就做對，而且在此過程中，他們就可從公司的每家商店中削減一兩個辦事人員。那就是一大筆金錢。
的確，這是一種相當簡單的經營哲學。你所必須做的隻是從混亂中劃出一條明確界限，並使官僚機構保持在界限之外。如果一年後這種作風退了回來，你必須從頭再把它劃出去。”
現今，沃爾瑪的機構的精簡度依然是為人所稱道的，其管理結構大致是這樣：每家分店由一位經理和至少2位助理經理管理，經理負責整個商店的運營，助理經理則負責商品管理。其中一個負責耐用商品，另一個負責非耐用商品。他們又領導著36個商品部門經理。然而，根據商品部門的大小不同，有的商品部不止一位部門經理；還有的把兩三個商品部合起來由一位經理負責。商店經理向地區經理彙報工作，每位地區經理約負責12家商店。地區經理又向區域副總裁彙報工作。每位區域副總裁下設3位—4位地區經理。
最後，區域副總裁向公司執行副總裁彙報工作。另外還有2位高級副總裁分別負責新店發展和公司財務等。在這套體係中，各區域副總裁是核心，他們負責整個公司的溝通和運營管理。他們每周一從本頓威爾小鎮的沃爾瑪總部出發，乘飛機要飛到他們各自負責的區域去訪問分店，一直呆到周四再飛回總部，準備周五、周六的會議。公司的這一管理結構基本仍與其初建時一樣簡單、精練和有效。
高速流轉以求降低成本……20世紀70年代，整個零售業行業都遭遇挫折，大型連鎖店，如西爾斯、凱瑪特因多種原因，淨利潤均在下滑。略小一點的彭尼、吉伯森和蒙哥馬利在70年代末也遇到種種麻煩，還有一批折扣百貨連鎖店因業內的激烈競爭而倒閉。
這些商店共同遭遇挫折的一個原因是，配送效率都下降了。