取得黎陽倉，穩定住形勢之後，楊玄感便開始露出了他的獠牙。
楊玄感宣布在黎陽城內，關閉城門，大搜男夫，充作兵丁。又下令打開黎陽倉的庫藏，分發給眾人，並設置官署，廢除楊廣登基以來的一切新定製度，所有製度都按開皇年間的辦法來辦。
楊玄甚至連楊廣改州為郡也不承認。
他又送文書到周圍的州郡，以討伐來護兒為名，讓他們發兵，到糧倉所在地相會。
此時元務本、趙俊用等人才後知後覺地發現楊玄感這不像是要剿匪，反而是要造反。二人後悔不已，但是二人已經上了楊玄感的賊船，這時候作為楊玄感攻破黎陽倉的功臣，二人也下不了船了。
楊玄感為了收攏人心，對於此二人倒是不吝封賞，他將汲郡一分為二，東部以黎陽城為治所設黎州，元務本為黎州刺史。西部以衛縣為治所設衛州，趙俊用為衛州刺史。
又以楊氏舊臣河內郡主簿唐禕為懷州刺史。
此時楊玄感手上有一萬五六千人，他又挑選輸送軍糧的民夫中身強力壯者五千餘人，丹陽、宣城郡的水手三千人，聯合諸郡兵員，勉強湊了兩萬五千餘人。
不得不說楊廣在河北的窮兵黷武倒是幫了自己的忙，因為多重天災人禍，黃河兩岸的兵源早就枯竭，楊玄感雖然大肆搜索，可也沒有征到多少人。
而且出人意料的是，黎陽倉內的確糧食充足，但是武器甲胄卻沒有多少，一部分被楊廣在上一次征討高句麗的時候給霍霍了，剩下的也早就拉到了涿郡。
有些跟想象的不一樣，但楊玄感沒有辦法，隻得用帆布作牟甲，而士兵每人隻有一柄單刀，一個柳條盾，沒有弓箭，也沒有鎧甲。
這樣的軍隊，跟那些造反的民軍沒多大區別。
但事已至此，造反可沒有回頭路，無論如何也得進行下去。
楊玄感有些想家了，在弘農郡他的老巢，可是儲備了無數的物資，都是為了造反用的，但現在全都用不上。
準備妥當之後，四月十八日，楊玄感殺三牲誓師，並以治書侍禦史遊元祭旗。
遊元曾跟隨黃明遠北伐，此時已經六十歲的他還在黎陽督運軍糧。楊玄感起事之後，便扣押了遊元，並勸其投降。
遊元乃是名臣，若能從之，必能大漲義軍聲望。
楊玄感對遊元說道：“楊廣乃是一個獨夫，逞肆暴虐，已經使自己陷於絕遠之地。今天下大亂，暴民四起，這是上天要亡了楊廣。如今我親率義兵，誅殺無道之君，匡扶社稷，乃是順應天命，遊公何不與我一同來做此事。”
遊元憤怒地斥責道：“楊玄感，你也是國之重臣，深受國恩之人。汝父先楚公深受兩代天子的寵信恩遇，近世無人可比，你們弟兄幾人也都位居高官顯爵，正是對國家竭誠盡節，上報鴻恩之時。今汝父墳土未幹，您就親自策劃謀反！死後如何去見汝父。我遊元雖不能殺賊，但唯有一死而已，絕不能從命！”