張祥青的生意並不複雜，在北京從廢鋼鐵商販手中整車買下廢鋼鐵，然後運回唐山倒賣給鋼鐵廠。可問題是，這時的張祥青對廢鋼鐵的質量分類根本不熟悉，又特別講義氣，對人很輕信。對第一車廢鋼鐵，人家說“雖然質量不太好但還是能用，以後再給你好的吧”，初入商海的張祥青對這句話全信了。回到唐山別人一驗貨，方才知道上了大當虧了大本。
第一筆重要生意虧了本後，不同的商人有不同的選擇，有人會收手不幹，或轉向掉頭。天生不服輸的張祥青在第一筆生意大虧之後，反而選擇要堅定地做下去。他冷靜地分析了情況。認為，雖然當時做廢鋼鐵生意的人很多，關係複雜，對新加入者很不歡迎，常常要欺負他們。但是，這一生意大有可為，因為北京有穩定的廢鋼鐵貨源，光首都鋼廠的垃圾山，他們就挖不完；而唐山大小鋼鐵廠很多，需要大量廢鋼鐵作煉鋼原料，有穩定的廢鋼鐵市場。而且，廢鋼鐵生意很苦，有人還認為“下賤”，能堅持下去的人並不多。自己是孤兒出身，拾破爛長大，吃苦耐勞、忍受欺負的能力，肯定超過一般人。他認為自己最適合做廢鋼鐵生意。
後來，果然如他預料，在激烈的競爭中，許多人紛紛改行。而在這一行業幾年就賺出數百萬身家的，卻是意誌堅強的後來者張祥青。
廢鋼鐵生意之苦，也如他的預料。當時，張祥青每星期往返北京三趟。每一趟的情況大致如此：傍晚從唐山出發，到達北京已經是深夜。白天落實廢鋼鐵貨源並裝好車，傍晚從北京押貨出發，回到家已淩晨三四點，碰上大霧天氣則更晚。不管多晚，早上八點前必須起床，趕往唐山賣掉廢鋼鐵，當天傍晚再趕到北京，這樣周而複始。睡眠嚴重不足，他隻好在車上打盹。那時的大貨車根本沒有空調，一路風塵，滿臉滿頭髒得不成人樣，可回到家，張祥青累得連洗臉洗頭的氣力都沒有了，常常是躺在炕沿上，由張榮華給他洗，洗著洗著，他就睡著了。
吃苦還在其次，更關鍵的是要處理各種關係，打通各種人脈。現在，大家說張祥青很會處理人際關係。他這種能力主要是那時練出來的。張祥青自己總結說，要得到人家的信任，建立良好的人脈關係，得靠真誠。
張祥青有一件事最為合作夥伴津津樂道。當時，張祥青的廢鋼鐵生意有幾位合作夥伴，說好合作夥伴固定按每噸廢鋼鐵30元分得利潤，其餘的一切收支均由張祥青包幹負責。這對於合作夥伴而言，本來就是旱澇保收的好生意。可是到了年底，張祥青找他們算帳來了，說這一年廢鋼鐵生意利潤很好，每噸利潤不是30元，而是100元，這每噸多出來的70元要跟大家一起分配，張祥青還要對每個人再分一大筆錢。合作夥伴先是大惑不解，做生意哪有張祥青這樣死心眼的傻瓜；然後，他們為他的誠信而感動；最後，他們佩服張祥青做生意高明，眼光長遠。這件事在圈子裏傳播，張祥青有了意想不到的好口碑，他生意上的合作夥伴和朋友越來越多。
到1993年，短短兩年間，張祥青在廢鋼鐵行業賺到了300萬元。這年，張祥青24歲，他早早成為了百萬富翁。
漂亮轉身，辦起自己的鋼鐵廠
張祥青的廢鋼鐵生意順風順水，利潤豐厚。可是，他已經在考慮轉向了。虧了本要堅持，賺來錢要轉向，這是什麼生意經？張祥青的生意經是這樣的：“一條路走久了肯定會死，所以就要變，要尋找新路。”
孤兒出身的張祥青一直有很強的危機意識，做生意後他十分注意觀察市場趨勢，對市場動向有極敏銳的感覺。他發現1993年國家對經濟宏觀調控後，國內整個鋼鐵市場開始出現回落。他的廢鋼鐵是賣給鋼廠做原料的，而當時很多小鋼廠開始關閉了，賣廢鋼鐵給這些廠，根本收不回錢。那些還在生產的鋼廠，產品也開始滯銷，形成三角債，他的廢鋼鐵仍然不好收錢。他認為，今後幾年，他這種簡單、粗放的廢鋼鐵生意可能不好做。但同時，他發現由於唐山的大量小鋼鐵廠不景氣，所以收購這些廠的成本很低。他覺得是一個機會，他想趁這個機會從原料供應商向鋼鐵生產商轉移。
張祥青的特點是考慮好了說幹就幹。1994年，他先嚐試成立了唐山順達冶金原料廠，這個廠雖然說隻是把廢鋼鐵分類、破碎、燒結，再賣出去，但畢竟比簡單倒賣廢鋼鐵上了一個大台階，他終於有了自己的第一個鋼鐵原料加工廠。他把廢鋼鐵先送到自己的工廠，加工後再賣給那些沒有分選、破碎、燒結設備的鋼鐵廠，銷路比賣廢鋼鐵廣闊很多，產品的貨款也好收了很多。牛刀小試，張祥青嚐到辦工廠的甜頭，信心大增。
1998年，張祥青仍然利用擁有廢鋼鐵原料的優勢，租賃了豐南一家倒閉的集體製鋼鐵企業，成立了豐南冀發特種鋼材有限公司，開始加工鋼材。1999年，又在灤南租賃了擁有高爐、轉爐的倒閉的鋼鐵企業，成立了唐山合利鋼鐵廠。