蘇序體格健壯，胸懷開闊，為人平和厚道，生活樸素節儉，深得鄉裏人敬重。蘇序與人交往，不論是士大夫，還是普通百姓，乃至田父野老，都一樣禮貌周到，注重細節，時時顧及別人感受。蘇序有此品格，當受其父蘇杲的影響極深，蘇序評價父親“最好善，事父母極於孝，與兄弟篤於愛，與朋友篤於信，鄉閭之人無親疏皆愛敬之”。
對於功名利祿，蘇序亦有著異乎尋常的淡泊態度。他曾有機會爭取到當地的一官半職，但他不但不爭，甚至還說服家人，不要摻和到這件事情當中。
蘇序的生活作風，儉樸到了極致。
他不騎馬，不坐車，常以步行代之。他給出的理由是：路上那麼多老人，人家都是靠雙腿行路，我這個比他們年輕的人，倘若騎馬在大街上招搖，那多不好意思！
蘇序穿衣吃飯，也莫不以節約為第一要義，穿要破舊的衣服，吃要粗食淡飯。無論何時何地，唯有粗衣鄙食，方才可以讓他心安理得。好像一不小心，就會脫離了勞動人民的本質，沾染上貴族習氣。
蘇序從骨子裏認定了一件事：我就是一個農民，一個種地的老漢，沒有必要跟大夥兒裝高貴，都是街坊鄰居，五裏八鄉都熟悉，也用不著去裝。不得不說，他的孫子蘇軾後來所以能和各階層人士都打成一片，“上可陪玉皇大帝，下可陪卑田院乞兒”，定是受了爺爺潛移默化之影響，在骨子裏，他們都是“不裝”的人。
蘇序最為人稱道的，則是他的扶弱濟貧的高尚人格，有一件事頗能說明問題。
蘇家的田地本不算多，但家人在蘇序的要求下，大部分都用來種了粟。為此，蘇序還特地蓋了一個大糧倉，將這些粟貯存下來。如此幾年累積，竟存了三四千石糧食之多。家人及鄰居都猜不透，蘇序的葫蘆裏到底在賣什麼藥。
每每有人問及，蘇序均笑而不答，那笑容裏，分明還透著一絲神秘。
直到後來的某一年，眉州地方發生大饑荒。蘇序這才揭開謎底：開倉取粟，救濟鄉裏，成為鄉親們活命的及時雨。這三四千石存糧，足夠救活許多人。
蘇序先濟族人，再助外戚，之後救濟佃戶和鄉裏的貧民。
人們這才明白，蘇序所以堅持種粟存糧，實屬未雨綢繆的明智之舉，紛紛對他的先見之明表示欽佩。
有人不解：“救荒何必用粟？”
言外之意是，隻要是糧食都能救荒，又為何多此一舉非要種粟。
蘇序回答說：“粟米堅硬，耐貯藏，不會黴爛。”
由是觀之，蘇序不隻是具有憂患意識的預言家，而且對農業知識有著極為豐富的了解，是了不起的種田高手、農業專家。
蘇序為鄉人稱道的，遠不止此。樂善好施之外，他還有坦蕩的性情，過人的膽量，以及瀟灑的氣度。眉山縣的鄉親提到蘇序，無不豎起大拇指，稱道其人其事。在當地人民心目中，蘇序是個很有威信的老漢。
與鄉裏鄉親相處，蘇序總能把關係搞得十分融洽，他對士大夫尊敬有加，對田父野老亦謙恭有禮，“無貴賤皆得其歡心”。他身上有種與生俱來的魅力，人們與他交往，總會覺得身心舒暢，自然愜意。
蘇序喜歡飲酒，平日裏閑來無事之時，最愛做的，就是與一眾鄉親閑坐在田間地頭，邊喝邊唱。他聲音洪亮高亢，唱得如癡如醉。
他的膽子也大到驚人，當地民間有一神仙，人稱“茅將軍”，掌管著人們的福禍運氣，深受鄉親敬畏。因此，當地人合資建了一座大廟，專門供奉之。蘇序不信這個神，在一次酒醉後，率二十餘人，把茅將軍的像毀掉了，拆了他的廟，令其沒有容身之地，但這位茅將軍也並未顯靈來處罰他。
蘇序不信鬼神，鬼神自然無法近身。
蘇序的個性和人品，對後代兒輩和孫輩，無疑有著強烈的潛在影響，而在蘇軾身上，則體現得最為淋漓盡致。蘇軾兒時看到的聽到的爺爺的言談舉止，都給他留下深刻的印象，爺爺身上所散發的魅力亦令他著迷。蘇序去世時，蘇軾十二歲，多年之後，他曾請求同門曾鞏為爺爺書寫了一篇墓誌銘。
蘇序生有三兒：長子名澹，早逝；次子名渙，字公群；幼子蘇洵，字明允。蘇渙和蘇洵後來皆成為當地名士，很為老人家長了一把臉。
因為相對穩定和優越的生活環境，生活在蜀地眉州的蘇家世代並沒有人出來做官。其實，不隻蘇家這樣，整個蜀地的風氣，莫不如此。概因相對封閉的四川盆地，社會一向穩定有序，經濟富裕充足，這裏的人們，生就一種享樂的氣質，更找不到太多的理由離開家鄉，到外麵世界去打拚。
在當地，讀書的風氣並不濃厚。
縱觀蘇家世代，在蘇渙蘇洵兄弟之前，喜歡讀書的人幾乎沒有。
這情形一直延續到大宋朝才有所改觀。