“不需要什麼小黃瓜跟魚了。都是上當的東西！”她這樣吩咐西爾維，在她恢複舊章的那天早上，
可是高裏奧先生和所有白手起家的人一樣，早年不得已的節儉早已成為習慣。他最稱心的晚餐一向並且永遠是素羹，或是肉湯，加上一盤蔬菜。因此伏蓋太太要折磨她的房客就不那麼容易了。他簡直無所嗜好，這樣也就沒辦法為難他。她對於這樣一個無懈可擊的人感覺到無可奈何，所以隻能瞧不起他，把她對高裏奧的敵意感染給別的房客們，而他們竟然為了好玩，幫著她出氣。
第一年將盡，寡婦對他十分猜疑：這個有著七八千法郎進款的商人，銀器和飾物的精美均不下富翁的外室，為什麼會住到這兒來，而且隻付一筆在他財產的比重上極小的膳宿費？在第一年的大半時期裏，高裏奧先生每個星期總有那麼一兩次在外麵吃晚餐；隨後，不知不覺地變成了一個月兩次。高裏奧先生的那些約會與伏蓋太太的利益配合得太好了，對於他在家用餐的習慣越來越正常，伏蓋太太是不能不生氣的。於是這種改變被認為一方麵他的財產慢慢減少了，另一方麵也被看做他故意與房東為難。在小人許多可鄙視的習慣中，有一樁是總以為別人也同他們一樣的小氣。第二年年終，高裏奧先生竟然證實了她的預言，高裏奧先生主動要求搬上三樓，把膳宿費縮減到九百法郎。甚至整整一個冬天他的屋子裏都沒有生火。伏蓋寡婦要求他先付後住，高裏奧先生答應了她，從此她便管他叫做高老頭。
對於他降級的原因，大家都在議論紛紛，可是始終猜不透！正如那假基督伯爵夫人說的一樣，高老頭是個城府很深的人。一般來說頭腦空空隻會胡扯的人，腦袋裏都有自己的一套邏輯，所以認為決口不提自己事情的人決沒有什麼好事。在他們看來，那麼體麵的富翁一下子變成了騙子，風流人物一下子變成了老混蛋了。按照那個時代搬入公寓的伏脫冷的說法，高老頭是做交易所的，送完了自己的錢，還在那裏靠著公債做些小投機。這樣的一句話在伏脫冷的嘴裏用得是有聲有色的金融上的術語。一忽兒，又說高老頭起碼是個賭鬼，天天晚上去碰運氣，贏他十來個法郎；一忽兒，他又把高老頭說成是特務警察雇用的密探，可是伏脫冷認為他還不夠狡猾還當不起當這個差事。又有一種說法，高老頭是個放印子錢的守財奴，再不然是一個追同號獎券的人買獎券時每次買同樣的號碼而用來增加本錢，叫做同號獎券。。總之，大家把他當做一個有著惡劣嗜好的，無恥，低能於一身的最神秘的人物。不過無論他的行為或惡劣的嗜好如何要不得，人家對他的敵意還不致把他攆出門外，因為他從沒欠過房飯錢。況且他還有他的用處，每個人快樂的或惡劣的心緒，都可用打趣或咕嚕的方式找他發泄出來。他實在是個古怪的好色鬼的這種說法是伏蓋太太說的，同時這也是最像而且被眾人一致認可的意見，因為高老頭是一個保養得那麼好，一點毛病都沒有，還能給一個女人許多快樂的人。伏蓋寡婦的這種壞話有下麵的事實做根據。
在那個晦氣的伯爵夫人溜走的幾個月後，西維爾一天早上起身之前，聽見樓梯上有綢衣窸窸窣窣的聲音，她看見一個年輕的女人輕巧地溜進高老頭的房裏，她打開房門的方式又好像有著暗號一樣。胖子西爾維馬上來報告女主人，說有個不像良家婦女的漂亮的姑娘，打扮得像神仙一樣，穿著一雙毫無灰土的薄底呢靴，好像鰻魚一樣從大街上一直溜進廚房，詢問著高裏奧先生的房間在哪兒。伏蓋太太帶著廚娘去門口偷聽，聽到了兩句溫柔的話，兩個人會麵也有好一會兒了。高裏奧送走女客，胖子西爾維立即抓起菜籃，裝做上菜市的模樣去跟蹤這對情人。
她回來對女主人說：“太太，高裏奧先生—定有很多錢，才撐得起那樣的場麵。您真想不到，在吊刑街的轉角，有一輛漂亮的馬車等在那裏，我是看著她上去的。”
在吃晚餐的時候，伏蓋太太去拉了一下窗簾，把射著高裏奧眼睛的那道陽光遮掉。這裏所說的晚餐，大概是在下午四點左右。公寓每日隻開兩餐。
“親愛的高裏奧先生，您陽光高照，豔福不淺呢，”她在暗指他早晨的來客，“謔！您眼光真好，她真的很漂亮啊。”
“那是我的女兒！”他回答時那種驕傲的神氣，房客都以為是老人故意撐麵子。
一個月過去了，又有一個女客來拜訪高裏奧先生。他女兒第一次來是穿的晨裝，這次是晚餐以後，穿得像是要出去參加酒會的模樣。房客在客廳裏聊天，看見一個有著瘦瘦腰身的極具風韻的金發女子，她的那種高雅大方的氣度絕對不可能是高老頭的女兒。