不久，宇文化及殺了隋煬帝，天下大亂，烽煙四起，張善安與王國勝都認為，到了一展抱負的時候了。
張善安說：“常言道：太平盛世考的是文治，現在亂世紛爭，則必須靠武功！你我是時候出山了！”
王國勝應道：“隻要你一句話，我必定鞍前馬後，終生追隨！”
於是，二人把各自的學生、徒弟們召集起來，宣布起義，並很快占領了廬江郡，時為隋義寧元年（617）十二月。
半年後，張善安的起義隊伍已經發展到三萬餘人，清一色的江淮兵；軍隊的骨幹人員，全是兩人的學生、徒弟。
因為張善安畢竟是一個讀書人出身，對“造反”這兩個字理解極深，總把它與“叛逆”聯係在一起。在他的思想深處，總以為自古以來，造反者的下場往往是可悲的，於是總不想承擔其“後果”。
一天，張善安對王國勝說：“聽說江南豫章郡的林士弘勢力很大，我們去投奔他，也算是找一個遮風擋雨的處所，怎麼樣啊？”
王國勝說：“大哥說好就好，我全聽大哥的！”
兩人遂領著隊伍渡江南下，在豫章歸附了林士弘。
在林士弘的隊伍中，他的弟弟林士聰（字藥師），妻兄金永太、表弟張加安等全都手握軍權，一門皇親國戚成為林士弘這支楚軍中的主要骨幹。
現在張善安、王國勝來了，成了他們的“外人”，又見張善安是一個讀書人，說話極有條理，軍隊人數雖不多，卻軍容嚴整，紀律謹嚴，透著一股逼人的凜凜殺氣。
林士聰說：“看到了嗎？這個姓張的不凡啊！得留點神，別被他蒙了！”
金永太建議道：“放點沙子進去，盡快地吃掉他！”
林士聰說：“派韓矮子去當監軍，探一探裏麵的虛實……”
林士弘卻搖著頭說道：“你們別疑神疑鬼的，我看這個張善安是個正派人，人家雖是這支軍隊的首領，你看他的穿戴，活脫脫就是一個鄉下的教書先生，渾身哪有一點官氣？那個姓王的像個武將，但是並不顯得粗野，整日少言寡語，對部下也挺隨和。”
他弟弟林士聰卻提醒道：“人不可貌相！別看他說話斯斯文文，說不定肚子裏的壞水多著哩！提防著，有什麼壞處？”
張加安卻說：“我看人家治軍夠嚴的，每天那麼早就起來訓練，每晚還把軍中的頭目集中起來練功，真是少見的一支隊伍！”
“你懂個屁！”林士聰不屑地橫了他這位表弟一眼，然後又接著說：“那全是花架子，表演給咱們看的，想顯示一下他的本領，好取得信任，以便掌握軍權呀！”
張加安不服氣地說：“我看這支軍隊上上下下，幾乎都是正派人，你別把人家逼走了！”
金永太說：“依我說，先派他們去打一仗，觀察一下，一看態度忠不忠，二看能力強不強，三看作風賴不賴！然後再說。”
林士弘終於被他們說動了，便把那個“韓矮子”喊來，對他說：“派你去安徽來的隊伍裏監軍，到那裏要與張、王兩位首領處好關係，多向他們學習，別多嘴多舌，以免剛進去就弄壞關係。”
林士聰補充說：“要多長個心眼，別被人家騙了！”
這個韓矮子，名叫韓文品，是林士弘軍中的“智多星”，以多謀狡詐獲得林氏集團的信任，派他到張善安軍中任監軍，目的是摸清情況，監視行動，等於是林士弘放在張善安身邊的1條內線。
自然，謀略過人、見過世麵的張善安怎能看不出來？他暗中對王國勝說：“我們初來乍到，他們不信任、不了解，也是人情之常，情有可原，別計較，讓我們用行動去換取信任吧！”
林士弘派張善安去攻打贛西的義寧城，出發前，張善安說：“軍中戰馬太少，請借給五十至八十匹戰馬用。”
林士弘正要答應，他的弟弟林士聰卻說：“我們軍中的戰馬不多，而且都是在攻取當中奪過來的，哪有借戰馬的先例？”
張善安說：“行軍路途遙遠，能否發一些軍糧，以備途中急用。”
林士聰說：“沿途有城有鎮，還能沒有糧食？我軍一向沒有備糧的習慣，軍隊走到哪裏吃到哪裏，所有的義軍都是這樣的。”
張善安不好再多說了，隻得與王國勝一起，帶領他們的三萬隊伍，還有那個監軍韓文品，從豫章出發了。
行軍途中，管糧草的頭目報告：“軍糧隻夠三天的了。”
張善安說：“五天以後可以趕到新寧郡，那裏有一座官倉，這兩天可以多吃一些青菜，少吃一些大米吧！”
監軍韓文品立即反對道：“行軍打仗，怎麼能讓將士克扣飯食？到老百姓家裏取一些嘛！”
張善安說：“我們這支軍隊建立好幾年了，從未搶劫過老百姓一粒糧食，都是攻下官倉，從官倉裏取糧食。”
韓文品笑道：“你真是一個書果子！現在天下大亂，哪支軍隊不搶？”
王國勝嚴肅地說：“我們這支軍隊是仁義之師，把老百姓當做衣食父母看待，怎麼能去搶掠他們呢？”
張善安忙對他說：“我們這些人不都是來自老百姓嗎？為什麼一旦來到軍隊裏，就忘了本，反過來要禍害老百姓呢？我真不明白這些人是怎麼想的。”
韓文品冷笑道：“其實，軍隊打仗還不是為了老百姓嗎？他們貢獻一些也是應該的。”
張善安也不同他爭論，卻扭回頭對王國勝吩咐道：“把缺糧情況向全軍傳達一下，等我們到達新寧，打下官倉，還愁沒有軍糧嗎？”
韓文品立即警告說：“軍中缺糧，可是大事，一旦發生兵變，你們可得承擔責任！”
張善安平靜地說：“不會的，這支軍隊不是你想象中的那樣，我們軍隊的《約法三章》的第一條，就是不搶掠，這是全軍將士自己約定的，誰也不會違犯。”
可是，韓文品卻認真起來了，他板起麵孔說：“這支軍隊現在不姓‘張’了，而是姓‘林’了，不能由你一人說了算，我是監軍，我要對軍隊負責，一旦將士有了反應，發生異常舉動，你負得了責任嗎？”
王國勝說：“這支軍隊無論姓‘張’，還是姓‘林’，總不能讓他們去胡作非為，禍害老百姓！”
韓文品臉色一變，大怒道：“別張口老百姓，閉口老百姓，以後這支軍隊應由我說了算，我是監軍……”
王國勝也生氣地說：“你說了算？那你去說說看，看軍中將士有誰願意跟你去搶！”
張善安向王國勝使了一個眼色，說：“別再爭了，將士們都願意，我們做首領的還爭什麼？”
從這次爭論之後，韓文品開始到將士中間活動，有意散布對張善安的不滿言論，可是，這支軍隊的素質特殊，軍中有的大小頭目幾乎全是張的學生、王的徒弟，沒有人聽他的，使韓文品很失望，隻好忍氣吞聲，等待機會。
不久，軍隊到了新寧，占領官倉之後，張善安立即派兵守衛，公開放賑，救濟窮困的饑民，軍隊也留下足夠的軍糧，將士們都十分滿意。
向義寧進軍時，因為義寧依著修水，張善安派王國勝先從老百姓那裏征集數十隻大船，答應在攻克義寧之後如數奉還，並且補償費用。
韓文品聽說之後，老大不高興，說道：“老百姓的船隻理當為軍隊效勞，哪有用過還償付費用的？”
張善安聽了，也不與他爭執，而是與他商量道：“我想兵分兩路，一路從水上向義寧進攻，另一路是陸上。不過，水上是明的，陸上是暗的。”
韓文品聽了，冷笑道：“別說得那麼玄乎，又是水上、陸上，又是明的、暗的，派軍隊去包圍起來，還怕打不下來嗎？”
張善安耐心地對他說：“這義寧城也是贛西的一座古城了，城牆堅固，城內糧草充足，我軍遠道而來，也算是孤軍深入，若是久攻不下，那就麻煩了。”
韓文品忙問道：“你怎麼知道義寧城內的這些情況？”
張善安說：“我派出去的偵探人員早回來報告了，如今城裏的守將名叫殷大力，是蕭銑的部下。”
王國勝忙對他說：“早在到達義寧之前，張大哥已派人進入義寧城了。”
韓文品一聽他喊張善安為“大哥”，便不高興地說：“在軍中喊官銜，以後不準再稱兄道弟了！”
王國勝反駁道：“你管得也太寬了！我怎麼喊他，你管得著嗎？這是我們兄弟之間的私事，不用你管。”
張善安急忙勸說道：“別爭了……這次攻打義寧城，以水路為主，我帶一萬人登船，陸上就由你們——”
王國勝忙說道：“我上船吧！這陸上的隊伍還是主力，由你和監軍一起帶著吧！”
這時候，韓文品不說話了，他對軍隊攻戰之事不懂，也不願上前參戰，卻裝出一副大度的樣子說：“我聽你們的！”
王國勝領一萬隊伍，坐船向義寧前進，這時的修水正是漲水期間，不過兩日夜的工夫，船已抵達義寧城下，殷大力毫無防備，慌忙關閉城門，加強防守。
這義寧城的南麵緊靠修水，王國勝從城南展開攻擊之後，殷大力急忙趕往南城防守，前幾天提前進入城內的張善安的潛伏人員趁機將東門打開，放進張善安的主力軍隊，殷大力一見，慌忙領著殘餘兵馬，從西門逃走，向江陵的蕭銑報信去了。
攻下義寧城，張善安立即命令封查城內的府庫，將珍寶財物清點出來，留下一份準備帶回豫章，上交林士弘，其餘的論功行賞，全部獎給立功的將士。
次日，由王國勝主持，開倉放糧，救濟城內的窮困百姓。他的隊伍進城後不搶不掠，不侵擾百姓，深得城內百姓的讚頌，那些豪紳、商賈自動抬著豬、牛、羊等禮物，前來敬獻。
張善安的隊伍又收降了梁軍兩千人，城內的年輕人紛紛請求加入軍隊，人數一下子猛增到五萬餘人，並得戰馬五百餘匹。
王國勝的徒弟芮世軍很有將才，張善安留下他駐守義寧，正準備班師返回豫章時，管理上繳財物總管楊建士來報告說：“一對金鐲和玉獅子不知去向。”
王國勝說：“那是兩件珍寶，準備帶回獻給楚王的禮物，怎麼能丟失呢？”
保管的士卒在張善安的再三盤問下，小聲說道：“全被監軍大人拿走了，他還不準我說出來。”
韓文品一昕，大怒道：“胡說！我怎麼會去拿那兩件獻給楚王的禮物呢？再亂說我捅死你！”
說著，他抽出刀來就想把那士卒砍死，被王國勝伸手擋了回去，趁這工夫在他手臂上一碰，立刻問他說：“監軍大人若是未拿，這——”
王國勝說著，把韓文品的右臂突然抓住，舉起來一看，兩隻金光閃亮的金手鐲現了出來！
那個士卒指著那對金鐲叫道：“就是這對鐲子！一點不錯，我一眼就認出來了。”
韓文品隻得十分狼狽地把手鐲退給那個士卒，但是那個玉獅子哪裏去了？
王國勝緊追不舍，看著韓文品，問道：“韓監軍！還是自己拿出來吧，免得搜查出來不好看！”