1883年8月8日，在日本岡山縣的一個武士之家，降生了一個男孩。男孩的父親給他起名土肥原賢二。
土肥原賢二的父親土肥良永是一名陸軍少佐，兄長土肥原鑒被授予日本陸軍少將軍銜。在這樣的家庭環境下，土肥原從小受日本武士道和軍國主義精神的熏陶，幼小的心靈裏就埋下了為天皇獻身的種子。
20歲那年，軍人出身的父親為了讓兒子繼承父業，把土肥原送進了日本陸軍士官學校。土肥原成為陸軍士官學校第十六期生。
日本陸軍士官學校曾為日本培養出無數侵略戰爭的“精英”。在這裏，土肥原與後來侵華戰爭期間的元凶岡村寧次和板垣征四郎成為同窗好友。
1904年，土肥原畢業於陸軍士官學校，被授予陸軍少尉軍銜，供職於高崎步兵第十五聯隊。
這一年正是日俄在中國東北打得難分難解之際，土肥原積極要求參戰。在戰場上，土肥原十分賣命，因此，戰爭一結束，就被送進了日本高級軍官的搖籃——陸軍大學深造。
1912年，土肥原從陸軍大學畢業，任職於參謀本部，然後調到步兵第三十三聯隊任聯隊長。
第二年，土肥原被阪西利八郎看中，選調到中國擔任阪西利八郎的輔佐官。遠在中國的阪西利八郎之所以看中土肥原，是因為土肥原在陸軍士官學校和陸軍大學學習期間，潛心鑽研中國問題，早已名聲在外。
這是土肥原渴望已久的職務。土肥原剛剛步入軍中就已在作戰中顯示出自己的才能，盡管如此，他覺得最富有挑戰性的工作卻不在於軍事本身，而是謀略工作。他如願以償地找到了最適合自己的用武之地。他十分感謝阪西利八郎。上任伊始，土肥原跟隨著阪西利八郎來往穿梭於中國北方各係軍閥之間，與許多軍閥和政界要人建立起了微妙的個人關係。
在與中國上層人物打交道的同時，他還利用職務之便到中國各地旅行，了解中國的政治、曆史和風土人情。每到一地，他常常穿一身中國式的長袍馬褂，走街串巷混跡於三教九流之中，這為他以後收買利用流氓、土匪打下了基礎。
為了搞好特務活動，土肥原下苦功學習中國語言，他不僅能夠說一口流利的中國話，而且還學會了中國許多地方的方言。土肥原成為當時日本陸軍中公認的“四大中國通”之一。從此，土肥原開始了他在中國長達30年的間諜生涯。
1923年，在北京王府井附近錫拉胡同深處的一座深宅大院中，朱漆大門常年緊閉不開，甚為神秘。這就是有名的日本特務機關阪西公館。
所謂阪西公館，是北洋政府聘請的最高軍事顧問阪西利八郎公館的簡稱。阪西利八郎從1904年就開始在北京活動，當時他還是陸軍少佐軍銜，至1927年被調回國的這段時間裏，他在北京的活動使阪西公館名揚四方，阪西公館也成為日本在中國最大的特務機關。
作為日本陸軍參謀本部派遣來華從事間諜活動的第二代特務頭目，阪西利八郎為日本培養了大批從事對華間諜活動的特務。土肥原、阪垣征四郎、多田駿、岩鬆義雄等人都出自他的門下。
綠蔭下一張長條桌旁，坐著幾個著便裝的日本軍人。阪西公館的主人阪西利八郎和他的兩個副官正在探討對華方策。
這兩個副官，一個是後來的戰爭狂人——曾任日本華北方麵軍司令官的多田駿，一個就是已初露間諜鋒芒的土肥原。
土肥原先作扼要說明：“要想把英美在華北的勢力擠走，必須打敗直係軍閥新首領吳佩孚。眼下，奉係軍閥——靠日本人扶植起來的張作霖在大戰之後尚未恢複元氣，無再度揮戈入關的實力；皖係軍閥勢單力薄，尚構不成對吳佩孚的威脅；廣東的孫中山雖在共產黨幫助下改組了國民黨，並在俄國人的輔佐下籌建黃埔軍校，可他的後方還有一最大的隱患陳炯明，一時也難以出兵北伐。在這種情勢之下，為了早日擊潰稱雄中原的吳佩孚，必須首先促成張、段、孫大三角聯盟。阪西機關的工作重心，便是促使其內外結合，摧毀直係軍閥吳佩孚的軍事實力。”