1932年偽滿成立後，於德海再回沈陽探親時肅親王善耆已經去世。通過商業活動，於德海又結識了“滿鐵”副總裁鬆岡洋右（川島浪速的內弟）。兩人交談甚歡，言談間不免談起已故摯交肅親王善耆和鬆岡洋右的姐夫川島浪速，彼此之間便更覺近了一層。
在鬆岡洋右的說服下，於德海決定把他在英國的大部分資金投入“滿鐵”，為日本人做事。他之所以決定往“滿鐵”投資，是因為他看到日本操縱下的“滿洲國”已經成立，且在中國東北已確立其鞏固地位。因此，為達到複辟大清的政治目和滿足私欲，於德海很快就把在英國的幾處珠寶店鋪交給英國妻子珍妮管理，隻身來到沈陽出任滿洲重工業開發株式會社顧問，把主要精力投入到“滿洲”投資事業上。妻子珍妮原是段連祥在英國時於德海為他請的家庭教師。1924年段連祥6歲時，於德海與珍妮結婚。一年後，生了一個男孩。在珍妮生子後，於德海怕事後生出不必要的矛盾，就將段連祥又送回沈陽蒲河姐姐家。為此，他在沈陽皇姑屯為姐姐一家購置了寬裕的新宅院，又給段連祥留夠了學費。
段連祥就是依靠舅父於德海的資助，念到中學畢業。之後又借助鬆岡洋右的關係，考入了奉天（沈陽）虎石台日語學校實習科，從1934年5月至1935年1月，專門學習9個月，奠定了他的日語基礎。畢業後，還是借助鬆岡洋右的關係到“滿鐵”皇姑屯車站當檢車員，因為段連祥日語說得好，還能講俄、英、朝、漢等多種語言，又有“滿鐵”總裁鬆岡洋右這一層關係，所以他名義上雖為一名檢車員，實際上主要工作是給日本人當翻譯。後來還專門給四平鐵路局的日本警察局長當翻譯，月薪60塊大洋，這在當年算是很風光的。
1937年2月10日至8月10日，段連祥作為重點培養對象被“滿鐵”當權者送到吉林（市）鐵路局講習所學習半年。從鐵路講習所回到西安（遼源）檢車段後，段連祥身價倍升，已成為雇員身份，不但是檢車員兼技術員，同時還是檢車業務培訓的講師，可謂是前途無量。段連祥就這樣一幹就是5年。
1945年1月，“偽滿”警務總局開始在偽滿洲國範圍內招收1500名警尉候補生。全東北分設四個國立警察學校，分別設置在：新京（長春）、奉天（沈陽）、吉林（市）、哈爾濱。在家中已閑居了一年多的段連祥借助他在“滿鐵”的日本關係，當時“考”入的是吉林（市）第三國立警察學校警警察學校。吉林警校共有156名學員，分為三個班，段連祥在第三尉候補生。因為該警校當時借用四平地方警察學校的校舍，所以第三國立班，學期為一年。
1945年8月15日，日本宣告無條件投降，偽滿洲國垮台，從1945年1月至8月，段連祥在警校隻學了8個月零10天，警校便隨之解散。8個月的學習雖然短暫，但當時已經27歲的段連祥，和其他同學相比，已頗為成熟老練，因此他與老師和同學結下了深厚的情誼，這便為日後他收養日本老師遺孤和全力保護他為之感恩並崇拜的川島芳子積蓄了必要的條件。
偽滿警校解散後段連祥回到沈陽蒲河老家閑居幾個月。1946年1月，經其同鄉，時在八路軍駐鐵嶺的24旅71團1營當供給員的徐永保（徐純恒）介紹，參加了八路軍，在24旅71團1營當衛生員、文書等職。
1947年3月，段連祥回家後賣了幾天煙卷。1948年6月，他又在沈陽參加了他熟悉的國民黨重新整編的207師，在該師1旅1團2營任上士文書、軍需等職務。1948年11月遼沈戰役結束，段連祥所在的國民黨207師被消滅。
段連祥和川島芳子的交往，在曆史上還曾有一段淵源。段連祥對川島芳子的個人崇拜和對其家族的感恩，乃是促成他保護川島芳子的重要因素。
1934年，段連祥初中畢業後，考入了偽滿奉天（沈陽）日語協合學院學日語，學院的地點在沈陽北的虎石台鎮。因為是日語學校，段連祥自然經常聽到很多有關川島芳子的消息，對大名鼎鼎的“金璧輝司令”常有諸多耳聞，對川島芳子充滿好奇和羨慕的思緒。那時在段連祥心目中，對川島芳子產生了一種向往、景仰的獵奇心理。1935年，段連祥從日語學校畢業後，被分配到“滿鐵”工作，開始在奉天皇姑屯檢車段當檢車員，後來又轉到西安（遼源）檢車段當檢車員。在此期間，他因日語好，經常被日本人安排當翻譯。有一段時間，他還給四平鐵路局的日本警察局長當翻譯。由於工作之便，他經常跟著日本警察局長出差，有時也去天津。當時川島芳子正在天津東興樓開飯莊。當段連祥跟警察局長去天津東興樓飯莊吃飯時，親眼目睹了他學生時代就十分仰慕的川島芳子的嫵媚倩影。由於當時川島芳子周圍追求者眾多，根本注意不到段連祥這樣的小人物。