苦難的少年時代。
很長一段時間裏，貧窮和政治痛苦成為纏繞潘家不散的陰霾。
後來，當潘石屹賺得盆滿缽滿、名震天下的時候，一撥又一撥的記者不厭其煩地追問他對貧窮、饑餓的回憶，他“如祥林嫂似的”一遍又一遍講述他童年的饑荒。這被理所當然地視作一個億萬富豪發家傳奇的幾個花絮、一篇花團錦簇文章的幾處閑筆。
但是，貧窮對於當年的潘石屹，以及他的父母、他的妹妹弟弟來說，意味著困厄、煎熬、羞恥，甚至屈辱。由於潘家是隊上唯一的地主成分，隊上搞批鬥隻能選擇潘家。批鬥、貧窮、病患、苦難層層地向潘家壓了下來。
當年的天水農家少年，與當下的SOHO中國董事長，中間是看似無法跨越的鴻溝。前者鼓足全部勇氣、窮盡全部想象力，既想象不到、也不敢想象，他的未來是200億元身家的中國富豪。2010年SOHO中國銷售額達238億元，位於北京核心地區的、富有未來科幻世界氣息的銀河SOHO創下了中國單體項目年銷售額最高紀錄：146億元。
當時，潘家是潘集寨最窮困的一戶人家。潘石屹母親毛昭琴1973年就癱瘓臥床。家裏唯一的成年勞動力是潘石屹父親潘詩麟，潘石屹自己算半個。那時候，潘詩麟最大的願望是“全家人不餓死”。而他臥病在床的妻子，最大的願望不過是全家人一人一床被，起碼能不凍著。冬天，潘石屹一家子一半的時間在床上，兩三個人擠在一床被子裏取暖。在潘石屹的記憶裏，童年有兩年因幹旱發生嚴重的饑荒。村裏六七成的人都逃荒要飯了，潘家沒有。潘詩麟常說一句話：“你看，村子的人飯量都很大，吃得多，我家吃得少。所以別人逃荒要飯了，我們沒有逃荒。”這隻是自我安慰，一般是別人吃幹飯，潘家喝稀飯。在潘石屹的記憶裏，他小時候主要是吃玉米麵，高粱、小米都是不常吃的東西。隻有逢年過節或者辦喜事的時候，才能吃到小麥細糧。
潘石屹是老大，他有三個妹妹一個弟弟。二妹一度送給別人，又要了回來。最小的妹妹因為母親太餓沒有奶水，而送給了一戶姓董的人家。當時毛昭琴唯一的要求是：“誰家有奶羊，就送給誰。”這家姓董的，在八百裏秦川的陝西，家裏有一頭奶羊。
若幹年後，在北京朝外SOHO，講到激動之處的潘石屹伸手虛指遠處：“天水往東，翻過秦嶺，就是八百裏秦川。”那是天水人向往的富裕地區。
1994年年初，已經在海南房地產挖到第一桶金的潘石屹，和馮侖來到西安。萬通準備在西安建一個“二十一世紀廣場”，花錢將西安最繁華的地方拆掉。馮侖在《野蠻生長》一書中回憶：“一天清晨，我和潘石屹在西安溜達到馬上要拆遷的地方，蹲在一家小餐館前吃麵，心想，吃完這碗麵條，你們的命運就改變了；我們倆小屁孩兒拿張支票一交，這一片所有人的命運就從此改變了。而這裏是西安最繁華的地方，是我心中很向往的地方。就是那次，潘石屹跟我說，他原來最大的理想就是到西安。現在忽然間，我們倆以花錢拆遷的方式都成了這片土地的主宰，內心能不得意和狂喜嗎？”1979年離家去讀中專的少年潘石屹預料不到15年後的這一天。當時他煩惱的是，如何在沒有一分錢生活費的情況下，在學校活下去。