張之洞在山西巡撫任上時，就已經有了辦洋務的想法，隻是還沒有來得及實施就被調到了兩廣，而剛到兩廣時，又要全力應對中法戰爭，直到一年後戰爭結束，他才有精力實行繼續辦洋務的想法。張之洞考慮到兩廣地處邊陲、把守國境的實際情況，他認為在兩廣的洋務活動首先應從編練新式軍隊開始。
1885年7月，也就是中法戰爭結束後的第一個月，張之洞便開始在廣東籌建新式軍隊。他計劃在廣東建成一支新式陸軍和一支新式海軍。按照張之洞的設想，他編練的新式軍隊要全部使用西洋武器，並按照西方軍事強國的訓練方法進行訓練。為了編練兩廣的新式軍隊，張之洞特意把他在山西編練新軍時的下屬李先義抽調到廣東，讓他繼續編練新軍。李先義熟悉西洋武器，又有在山西編練新軍的經驗，辦事也踏實，這令張之洞很滿意很放心，後來張之洞在其他地方編練新軍時，李先義都是他的得力助手。張之洞計劃中的新式陸軍有2500人，被命名為“廣勝軍”，張之洞希望它能成為廣東的一支百戰百勝的軍隊。
考慮到當時歐洲大陸戰鬥力最強的是德國陸軍，所以，張之洞便有意按照德國陸軍的標準來發展自己的陸軍。在裝備上，張之洞不惜重金，從德國的克虜伯工廠購買優質的大炮和槍支，此舉使得中國軍隊在裝備上開始向歐洲強國看齊。在訓練上，張之洞請來德國軍官作為教練，依照德國軍隊的訓練標準訓練，訓練科目有臥姿射擊、使用火炮、修建掩體營地、埋設地雷、修築炮台、行軍作戰隊列、鋪設電報電線、野外行軍、夜間戰鬥、陣地防禦等等。為了確保按計劃訓練，張之洞幾乎每個月都要去檢閱這支新式軍隊。他希望通過訓練這支軍隊來積累發展新式軍隊的經驗，以便能夠大規模地發展新式軍隊。就這一點而言，張之洞是成功的，他日後編練新式軍隊時，很多重要人員都是從“廣勝軍”走出來的。
廣東臨海，而列強往往從海上入侵中國，所以，張之洞也很重視海軍的建設。在張之洞到任廣東之前，廣東已經有了一支水上力量，但是實力非常弱小，隻能從事一些內河上的緝私活動，對於海戰則是無能為力。張之洞鑒於中法戰爭的教訓，有意大力發展廣東的水上力量，希望能夠把廣東的水上力量發展成為可以和北洋水師、南洋水師、福建水師並駕齊驅的大型艦隊。在1885年10月，張之洞給朝廷上奏折，說明自己想要擴建廣東水師的意圖，希望朝廷能夠在經費上予以支持。但是，當時朝廷海防建設的重點是北方，海軍的軍費主要是用於發展北洋水師，所以，張之洞的提議並沒有得到朝廷的支持，張之洞也隻能依靠兩廣地方上的財力來發展海軍。在張之洞的計劃中，他要用5年的時間將廣東水師建成一支具備對敵作戰能力的海軍。
張之洞要擴建廣東水師，可謂是任務艱巨。當時的廣東水師裝備的艦船非常差，都是一些小炮艇，船的噸位也很小，隻有二三十噸，造船的材質也是一些普通的鋼鐵薄片，根本就沒有可以防禦炮火襲擊的裝甲，基本上是中彈就沉，甚至用了幾年之後，水本身的腐蝕就能讓船體壞掉，這樣小的船自然也無法開到海上，很可能一個大一點的海浪就能把它們掀翻，因而這些船隻能在內河裏活動。
雖然廣東水師的基礎極差，但是張之洞並不氣餒。鎮南關之戰剛結束，張之洞就拿出“闈姓”收益中的20萬兩銀子，用於修複、擴建黃浦船塢。黃浦船塢原本是英國人設立的。英國人來到中國後發現，中國的造船業很落後，無法修理他們的大型船隻，於是就有英國人看到了商機，他們出資建造船塢，用於修整他們的船隻，黃浦船塢就是在這種情況下出現的。後來經過不斷發展，黃浦船塢成為一個具有相當規模的大型船塢。張之洞的前任把它從英國人手中買下，用於發展廣東的造船業。張之洞接手後，更是加大了對黃浦船塢的投入，使這個船塢具備了一定的造船能力，張之洞便讓他們自行建造一批軍用船隻。