段祺瑞酷愛下圍棋，為此還特意養了一批棋手，每月發給工資，以陪他下棋。同段祺瑞下棋時，棋手們都十分識相——不能贏，因為段祺瑞的自尊心很強，輸了他會很不高興；但也不能多輸，因為多輸的話，會讓段祺瑞看不起。
那麼，段祺瑞最喜歡和誰一塊兒下棋呢？
有個小棋手叫吳清源，任段府的棋手時年紀還小，最受段祺瑞的喜愛。他在和老段下棋的時候毫不客氣，兩人經常下個旗鼓相當。但隨著吳清源水平的不斷提高，段祺瑞和他對弈往往輸多贏少，後來也就不再和他下了，但每個月段祺瑞仍然按時給吳清源發工資。吳清源後來去了日本，因為有段祺瑞的資助，才能度過在日本的最艱難時期，日後成為日本圍棋界的一流高手。
當時，達官貴人三妻四妾很時髦，段祺瑞也不免俗，討了幾房姨太太。他的第四位姨太太，貌美如花，知書達理，段祺瑞很喜歡她。但她進門後始終愁眉不展，心事重重，隻因為她已經有了意中人。段祺瑞便忍痛割愛，吩咐他妻子要像嫁女兒一樣，置辦嫁妝，吹吹打打，很熱鬧地成全她和意中人的婚事。段祺瑞讓姨太太出嫁的事被傳為佳話。
段祺瑞一生沒有房產，這在民國初年的軍閥政客中是絕無僅有的。段祺瑞在北京一直是租著房子生活，直到袁世凱以送套房子給他養女的名義（段在原配夫人過世後，娶了袁世凱的養女張氏為妻），給了段家一棟房子。這棟房產的原房主是與袁世凱打牌輸了40萬大洋，才把房子抵押給袁世凱的，可沒給房契。等老袁一死，房主的兒子拿著房契來找段祺瑞，要收回房子。段祺瑞見人家手中有房契，二話沒說，帶著一家人搬了出去，這棟房子隻住了兩年。後來段祺瑞到天津、上海，都是租房而居，一生沒有置產。
作為一國的軍政首腦，給段祺瑞送禮的人自然會排成長隊，但他從來不收禮，隻是遇見最親近的下屬和友人送來禮物卻之不恭時，才會在禮物中挑選一兩樣最不值錢的東西留下，餘者則悉數退還。江蘇督軍齊燮元曾送給段祺瑞幾扇鑲嵌著各種寶石的屏風，五光十色，非常珍貴。段祺瑞的家裏人十分喜歡，盼望段能留下這件寶物。誰知第二天一早，段就派人將屏風歸還給了齊燮元。張作霖給段送來一些東北特產，並不值錢，但段祺瑞死活不肯收，最後在張作霖副官的一再懇求下，才勉強收下兩條江魚。隻有一次例外，段祺瑞將別人送的禮物照單全收，那便是馮玉祥送來的一個大南瓜，因為實在沒有辦法把南瓜切一半還給馮玉祥。
最可稱道的是，他晚年保持氣節，不與日寇合作。九一八事變後，日本扶持溥儀成立了偽滿洲國，特務頭子土肥原賢二多次到天津秘密拜訪段祺瑞，想請他出麵組織華北政府，並承諾日本將會全力支持。麵對日本人的威逼利誘，段祺瑞始終以嚴詞拒絕，誓不與日寇同流合汙。