張治中是安徽巢縣西鄉人。他的家在黃山南麓的洪家疃。祖父張邦棟，一生務農；父親張桂徵，是個瓦工。1890年他出生在這個貧寒的家庭。盡管生活艱難，但父母還是把他送進豐樂河鎮上的私塾讀書，期望兒子有一天“功成名就”，光宗耀祖。
他知道家裏生活困難，唯有好好讀書才能解父母之憂。於是，他刻苦學習，成績優秀，私塾老師認為“這孩子將來大有希望”……聽到這樣稱讚，他似乎在生活的寒風中得到了不少溫暖。
十三、四歲，張治中已有十年“私塾”的學曆了。由於他成績好，尤其善作文章，老師便勸他去考秀才。考試分三個階段：縣考、府考、院考。張治中直接參加府考，成績很好，不料到省城合肥參加院考時，卻沒有通過。這是他生涯中第一次受到的挫折。
秀才落第後，張治中想進學堂讀書，可是家裏實在拿不出錢來供他求學；他想再去考科舉，但科舉又停止了，這一希望又告破滅。後來他聽說揚州要開辦隨營學堂，又趕去考試，但在那裏等了好久，也不見學堂開辦，隻好失望回到家鄉。
在一切求學的努力都失敗後，張治中不得不到豐樂河鎮上的呂德盛號當學徒，那是一家專營布匹、糕餅、油鹽等雜貨的鋪子。他起早摸黑，工作很勤快，頗得老板的歡心。但一有空閑，他就讀書，並時時想擺脫這樣的處境，重新上學堂讀書。
正當張治中一直在尋找新的機會時，他的一個私塾同學給他帶來消息，說揚州一個巡警教練所招考巡警，受訓3個月後即可成為正式警察。張治中以為巡警教練所也是所學堂，就匆匆趕去了。其實，這個教練所僅教當警察的規矩和知識，學生隻有幾十個人。3個月學完後，張治中當上了正式警察，任務也是站崗。但下崗後，張治中不像別的警察那樣喝酒尋樂，而是去參加英文和算術的學習，閱讀各種書籍，從中獲取新的知識。
1911年10月10日，武昌起義爆發了，一場偉大的革命風暴席卷全國，不久揚州也宣告光複。在這股潮流中，他脫掉警察服，來到上海，參加正在準備北伐的學生軍。1912年元旦，孫中山在南京宣誓就任中華民國臨時大總統，學生軍奉命來到南京，改編為陸軍入伍生團，正式開始軍事訓練。不久，南北和議達成，南京臨時政府取消，入伍生團被編入保定陸軍軍官學校。聽到這個消息，張治中興奮不已，他上學堂的願望終於實現了。
在學校裏，張治中除了規定的課程外，對德文特別感興趣，他認為德國的陸軍馳名世界，一個真正的陸軍軍人，必須懂得德文。此外，他也喜歡讀古人或名人關於修養方麵的書，如《王陽明全集》、《曾文正公家書》、《群學肄言》等。
1914年冬天，張治中從預備學校畢業。按照規定，到保定第八師入伍半年，然後正式升入保定陸軍軍官學校。進校後，他一心研究軍事學，利用暑假遍讀軍事參考書籍，如《陣中要務令詳解》、《作戰綱要詳解》等，同時也注重身體鍛煉和人格修養。
兩年後，張治中從陸軍軍官學校畢業。被分配到安徽軍閥倪嗣衝的“安武軍”去見習。這是一支腐敗的舊軍隊，長官隻知道賭博、打人，根本不懂軍事。身居其間，張治中陷入極度的煩悶之中，他自己看書，或到營外散步，以此來消磨時光。
當時，孫中山在廣東就任海陸軍大元帥，舉起護法的旗幟，受到國會議員的紛紛響應。張治中聽到這消息，決定投奔孫中山，參加革命的護法運動。
到廣州後，恰巧駐粵滇軍召開軍事會議，會議決定派第四師第八旅隨同粵、桂軍赴閩征討福建督軍李厚基。張治中隨即投身滇軍，參加了征閩的戰鬥。他先在旅部任上尉差遣，後當旅部警衛隊隊長。因作戰有勇有謀，被升為營長。他帶兵有一套與眾不同的辦法，不無故訓斥士兵，和士兵們睡在一起，吃在一起，因此受到士兵們的好評。
1920年11月，孫中山返回廣州恢複軍政府，宣言繼續護法。次年5月就任非常大總統。正當廣東風雲突變之時，張治中應同學之邀，南下廣東任桂軍總司令部參謀，作為西路討賊軍，參加討伐陳炯明的戰鬥。陳炯明潰敗後，張治中任建國桂軍軍官學校大隊長，實際上擔負一切訓練教育的責任。1924年12月任黃埔軍校第三期入伍生總隊的總隊副代理總隊長，後任軍官團團長。
當時，黃埔軍校裏有兩個組織，一是先由進步學生和共產黨人參加的青年軍人聯合會，一是由國民黨右派領導的孫文主義學會。張治中在複雜的政治鬥爭中，站在中間偏左，引起國民黨右派的強烈不滿，他們稱他為“紅色教官”、“紅色團長”，並把鄧演達、惲代英、高語罕和他四人罵為“黃埔四凶”。在這種情況下，他向周恩來提出要求加入共產黨。周恩來對他的要求表示歡迎，但經請示後對他說，國共兩黨曾約定，中共不吸收國民黨高級幹部入黨，你的目標較大，此時恐有不便，不如稍待適當時機為宜，但中共一定保證在暗中支持你的工作。
1926年7月，國民革命軍宣誓北伐，張治中被任命為總司令部副官處處長。他曾向蔣介石建議由周恩來充任總司令部政治部主任，被蔣拒絕。他認為北伐的統帥部沒有周恩來參加，是一個大損失。
北伐軍在兩湖取得勝利後，又向江西發動進攻。11月8日占領南昌，把孫傳芳驅出江西。同一天，廣州國民黨中央政治會議為“適應革命時勢之要求”，決定將國民政府與中央黨部遷往武漢。不久，在武漢成立國民黨中央執行委員及國民政府委員臨時聯席會議，代行國民黨中央和國民政府職權。當時蔣介石也表示同意。但後來蔣介石為實現以軍治黨，以軍治政的軍事獨裁，企圖把總司令部置於國民政府之上，力主遷都南昌。他的這一陰謀遭到國民黨左派和中國共產黨人的堅決抵製。1927年2月9日，武漢國民黨舉行一次高級幹部會議，提出實行民主，反對獨裁，提高黨權，扶助工農運動及召開國民黨二屆三中全會的方針。2月21日，國民黨在武漢召開中央執、監委員和候補執、監委員及國民政府委員擴大聯席會議，決定“中央黨部及國民政府即日在漢正式辦公”，給蔣介石的獨裁陰謀以沉重打擊。北伐軍政治部主任兼武漢行營主任鄧演達在這一事件中站在國民黨左派一邊，他和吳玉章、徐謙等五人組成行動委員會，作為同蔣鬥爭的領導機關。2月24日，他在武漢國民黨中央召開的黨員大會上，指責蔣介石完全是些“老朽昏庸的反動分子”，“他們根本就不了解民眾的痛苦”，他提出“首先就要打倒個人獨裁及一切封建勢力，其次軍事就要絕對服從黨的領導”。
蔣介石對鄧演達等人的言行極為惱怒，他曾派張治中勸鄧演達去南昌，企圖收買鄧，但為鄧嚴詞拒絕。後來蔣介石又命令張治中以參加東征的名義把學兵團撤出武漢。
當張治中向鄧演達說明要撤走學兵團時，鄧演達當即加以阻止，並要他辭去軍分校教育長和學兵團團長的職務。張治中見鄧演達一點也不肯讓步，也發火了：“辭職可以，但我是學兵團團長，應該向總司令辭職；我是中央學校武漢分校教育長，應該向校長辭職。”說完，就起草一份辭職報告，請鄧演達發送蔣介石。
處在動蕩的政治形勢中，張治中感到左右為難，用了晚年的話來說：“我是不願國共分裂的，這時我既不願站在國民黨立場來反共，又何能站在共產黨立場來反蔣，內心非常矛盾，真是痛苦極了。”