宋泰始末，征爲太子洗馬。齊初，累征中書侍郎、太子中庶子，並不就。與陳郡謝伷、吳國張融、會稽孔德璋爲莫逆友。點門世信佛，從弟遁以東籬門園居之，德璋爲築室焉。園有卞忠貞塚，點植花於塚側，每飲必舉酒酹之。招攜勝侶，乃名德桑門，清言賦詠，優遊自得。
初，褚彥回、王儉爲宰相，點謂人曰：“我作齊書已竟，讚雲‘回既世族，儉亦國華，不賴舅氏，遑恤國家’。”王儉聞之，欲候點，知不可見，乃止。豫章王嶷命駕造點，點從後門遁去。司徒竟陵王子良聞之，曰：“豫章王尚望塵不及，吾當望岫息心。”後點在法輪寺，子良就見之，點角巾登席，子良欣悅無已，遺點嵇叔夜酒杯、徐景山酒槍。
點少時嚐患渴利，積歲不愈。後在吳中石佛寺建講，於講所晝寢，夢一道人，形貌非常，授丸一掬，夢中服之，自此而差，時人以爲淳德所感。
性通侻好施，遠近致遺，一無所逆，隨複散焉。嚐行經朱雀門街，有自車後盜點衣者，見而不言，旁人禽盜與之，點乃以衣施盜。盜不敢受，點令告有司，盜懼乃受之。
點雅有人倫鑒，多所甄拔。知吳興丘遲於幼童，稱濟陽江淹於寒素，悉如其言。哀樂過人。嚐行逢葬者，歎曰：“此哭者之懷，豈可思邪。”於是悲慟不能禁。
老又娶魯國孔嗣女，嗣亦隱者。點雖昏，亦不與妻相見，築別室以處之，人莫諭其意。吳國張融少時免官，而爲詩有高言，點答詩曰：“昔聞東都日，不在簡書前。”雖戲而融久病之。及點後昏，融始爲詩贈點曰：“惜哉何居士，薄暮遘荒淫。”點亦病之。
永元中，崔慧景圍城，人間無薪，點悉伐園樹以贍親黨。慧景性好佛義，先慕交點，點不顧之。至是乃逼召點，點裂裙爲褲，往赴其軍，終日談說，不及軍事。其語默之跡如此。慧景平後，東昏大怒，欲誅之。王瑩爲之懼，求計於蕭暢。暢謂茹法珍曰：“點若不誘賊共講，未必可量，以此言之，乃應得封。”東昏乃止。
梁武帝與點有舊，及踐阼，手詔論舊，賜以鹿皮巾等，並召之。點以巾褐引入華林園，帝贈詩酒，恩禮如舊，仍下詔征爲侍中。捋帝須曰：“乃欲臣老子。”辭疾不起。複下詔詳加資給，並出在所，日費所須，太官別給。
天監二年卒，詔給第一品材一具，喪事所須，內監經理。點弟胤。
胤字子季，出繼叔父曠，故更字胤叔。年八歲，居憂，毀若成人。及長輕薄不羈，晚乃折節好學，師事沛國劉瓛，受易及禮記、毛詩。又入鍾山定林寺聽內典，其業皆通。而縱情誕節，時人未之知也，唯瓛與汝南周顒深器異之。仕齊爲建安太守，政有恩信，人不忍欺。每伏臘放囚還家，依期而反。
曆黃門侍郎，太子中庶子。尚書令王儉受詔撰新禮，未就而卒。又使特進張緒續成，緒又卒，屬在司徒竟陵王子良。子良以讓胤，乃置學士二十人佐胤撰錄。
後以國子祭酒與太子中庶子王瑩並爲侍中。時胤單作祭酒，疑所服。陸澄博古多該，亦不能據，遂以玄服臨試。爾後詳議，乃用朱服。祭酒朱服，自此始也。
及鬱林嗣位，胤爲後族，甚見親待。爲中書令，領臨海、巴陵王師。胤雖貴顯，常懷止足。建武初，已築室郊外，恒與學徒遊處其內。至是遂賣園宅欲入東。未及發，聞謝朏罷吳興郡不還，胤恐後之，乃拜表解職，不待報輒去。明帝大怒，使禦史中丞袁昂奏收胤。尋有詔許之。
胤以會稽山多靈異，往遊焉，居若邪山雲門寺。初，胤二兄求、點並棲遁，求先卒，至是胤又隱，世號點爲“大山”，胤爲“小山”，亦曰“東山”。兄弟發跡雖異，克終皆隱，世謂何氏三高。
永元中，征爲太常、太子詹事，並不就。梁武帝霸朝建，引爲軍謀祭酒，並與書詔，不至。及帝踐阼，詔爲特進、光祿大夫，遣領軍司馬王杲之以手敕諭意，並征謝朏。
杲之先至胤所，胤恐朏不出，先示以可起，乃單衣鹿皮巾執經卷，下床跪受。詔出，就席伏讀。胤因謂杲之曰：“吾昔於齊朝欲陳三兩條事：一者欲正郊丘，二者欲更鑄九鼎，三者欲樹雙闕。世傳晉室欲立闕，王丞相指牛頭山雲，‘此天闕也‘。是則未明立闕之意。闕者謂之象魏，懸法於其上，浹日而收之。象者法也，魏者當塗而高大貌也。鼎者神器，有國所先。圓丘南郊，舊典不同。南郊祠五帝靈威仰之類，圓丘祠天皇大帝、北極大星是也。往代合之郊丘，先儒之巨失。今梁德告始，不宜遂因前謬。卿宜陳之。”杲之曰：“仆之鄙劣，豈敢輕議國典，此當敬俟叔孫生耳。”
及杲之從謝朏所還，問胤以出期。胤知朏已應召，答杲之曰：“吾年已五十七，月食四鬥米不盡，何容複有宦情？”杲之失色不能答。胤反謂曰：“卿何不遣傳詔還朝拜表，留與我同遊邪？”杲之愕然曰：“古今不聞此例。”胤曰：“檀弓兩卷，皆言物始。自卿而始，何必有例？”胤、朏俱前代高士，胤處名譽尤邁矣。
杲之還，以胤意奏聞，有敕給白衣尚書祿。胤固辭。又敕山陰庫錢月給五萬，又不受。乃敕何子朗、孔壽等六人於東山受學。太守衡陽王元簡深加禮敬，月中常命駕式閭，談論終日。
胤以若邪處勢迫隘，不容學徒，乃遷秦望山。山有飛泉，乃起學舍，即林成援，因岩爲堵；別爲小合室，寢處其中，躬自啓閉，僮仆無得至者。山側營田二頃，講隙從生徒遊之。胤初遷將築室，忽見二人著玄冠，容貌甚偉，問胤曰：“君欲居此邪？”乃指一處雲：“此中殊吉。”忽不複見。胤依言而卜焉。尋而山發洪水，樹石皆倒拔，唯胤所居室巋然獨存。元簡乃命記室參軍鍾嶸作瑞室頌，刻石以旌之。
及元簡去郡，入山與胤別。胤送至都賜埭，去郡三裏，因曰：“仆自棄人事，交遊路斷，自非降貴山藪，豈容複望城邑。此埭之遊，於今絕矣。”執手涕零。
何氏過江，自晉司空充並葬吳西山。胤家世年皆不永，唯祖尚之至七十二。胤年登祖壽，乃移還吳，作別山詩一首，言甚淒愴。
至吳，居武丘山西寺講經論，學僧複隨之。東境守宰經途者，莫不畢至。胤常禁殺，有虞人逐鹿，鹿徑來趨胤，伏而不動。又有異鳥如鶴紅色，集講堂，馴狎如家禽。
初，開善寺藏法師與胤遇於秦望山，後還都，卒於鍾山。死日，胤在波若寺見一名僧，授胤香爐奩並函書，雲：“貧道發自揚都，呈何居士。”言訖失所在。胤開函，乃是大莊嚴論，世中未有。訪之香爐，乃藏公所常用。又於寺內立明珠柱，柱乃七日七夜放光。太守何遠以狀啓昭明太子，太子欽其德，遣舍人何思澄致手令以褒美之。中大通三年卒，年八十六。
先是胤疾，妻江氏夢神告曰：“汝夫壽盡，既有至德，應獲延期，爾當代之。”妻覺說焉，俄得患而卒，胤疾乃瘳。至是胤夢見一神女並八十許人，並衣帢，行列在前，俱拜床下，覺又見之，便命營凶具。既而疾困不複瘳。
初，胤侈於味，食必方丈，後稍欲去其甚者，猶食白魚、夔脯，糖蟹，以爲非見生物。疑食蚶蠣，使門人議之。學生鍾岏曰：“夔之就脯，驟於屈申，蟹之將糖，躁擾彌甚。仁人用意，深懷如怛。至於車螯蚶蠣，眉目內闕，慚渾沌之奇，獷殼外緘，非金人之慎。不悴不榮，曾草木之不若，無馨無臭，與瓦礫其何算。故宜長充庖廚，永爲口實。”竟陵王子良見岏議大怒。汝南周顒與胤書，勸令食菜，曰：“變之大者，莫過死生，生之所重，無逾性命。性命之於彼極切，滋味之在我可賒。若雲三世理誣，則幸矣良快，如使此道果然，而受形未息，一往一來，生死常事，則傷心之慘，行亦自及。丈人於血氣之類，雖不身踐，至於晨鳧夜鯉，不能不取備屠門。財貝之經盜手，猶爲廉士所棄，生性之一啓鑾刀，寧複慈心所忍。騶虞雖饑，非自死之草不食，聞其風者，豈不使人多媿。丈人得此有素，聊複片言發起耳。”故胤末年遂絕血味。
胤注百論、十二門論各一卷，注周易十卷，毛詩總集六卷，毛詩隱義十卷，禮記隱義二十卷，禮答問五十五卷。子撰亦不仕，有高風。