緊接著第三，圖窮匕見，就該流露心跡了。“大人若視男是親男一般，便留下賞玩。因天氣暑熱，恐園中姑娘們妨礙不便，故不敢麵見”。其實，他是很想擠進園子裏去，很想攀附上賈寶玉的。他並不安心當他的包工隊頭兒，他是個有野心的家夥，既然有這麼一個被人家認作兒子的機遇，怎麼能輕輕放過呢？在他看來，他之所以不如賈薔、賈芹混得順手，是沒有靠山的緣故。薔哥兒有賈珍、賈蓉護庇，賈芹有鳳姐撐腰。他以為改換門庭，投靠了鳳姐，能有好處，誰知隻是二百兩紋銀的差使。所以，他才不擇手段地，想抱賈寶玉的粗腿。
但是很抱歉，聰明過了頭，反倒壞了事，至少他錯誤地抓住了這個機會。他這封效忠信和那盆白海棠，並未起到多大的作用，白給人家當了一回兒子。問題在於“楚王好細腰，宮中多餓死”，上有所好，下必甚焉，江青炙手可熱時，有那麼多人向她效忠，是因為她喜歡搞這一套。而賈寶玉寶貴公子，哪會記得這些口角？根本不會往心上去的。俗話說，武大郎玩夜貓子，什麼人玩什麼鳥？你是夜貓子，你得找武大郎。門兒錯了，自然得不到提攜。後來賈芸能稍稍發跡，一是趕上那麼一個特殊時期，榮國府當家主事的人和正經的家人都不在了，才“鬧得沒上沒下，沒裏沒外”。二是可以相信，他找到了相中了他的武大郎，才得以起用的。
說來可憐，賈芸對賈寶玉也真沒少下功夫，忠不忠，看行動他還要給賈寶玉介紹對象呢？這小子不可算不聰明，深通走夫人內線的道理。哪曉得弄巧成拙，又走了一步錯棋。雖然，無所不用其極，是每個拍馬屁的人，必須具備的基本素質。臂如，對好飲酒者，得趕緊上茅台，對缺銀子者，連忙美元侍候，對喜女色者，配上漂亮秘書，是要投其所好，對症才能下藥的。
他哪裏知道，賈寶玉在薛、林拉鋸戰中，已經焦頭爛額，都有出家當和尚的念頭，你再弄一個“父親在外頭做稅官，家裏開幾個當鋪”，“長得比仙女兒還好看”的姑娘，攪到這場愛情的角逐中來，居心何在？分明是給賈寶玉添亂來了。所以，寶二爺“皺一回眉”，“又搖搖頭兒”，“後來光景竟不大耐煩起來”，讓賭月傳話：“今日芸兒要來了，告訴他別在這裏鬧。再鬧，我就回老太太和老爺去了。”誰都可以想到，賈芸在賈寶玉這兒還能有什麼撈頭呢？
怪誰？隻怪自己不長眼，他終於悟了，賈寶玉是靠不住的，從此不再往怡紅院跑了，又一次轉換方向。這也是這等人最起碼的聰明，換一個主子，像換一條褲衩那樣方便，“便買了些時新繡貨，要走鳳姐兒的門子”。結果，他打算承包一項皇陵工程的願望（因為賈政當了工部郎中，總辦陵工），不但未能實現，連在府裏攬點事幹幹的想法，也讓利害的二奶奶給碰了回來。
真是不走運啊！隻好在後廊下蟄伏，和他那卜世仁（不是人）舅舅來往。連當年借給他十五兩三錢銀子去謀差使的醉金剛倪二，被捉進官府，求他說情，他也幫不上忙，甚至榮國府的大門傳達室，也不太願意他進了。
據脂硯齋透露，這個賈芸和小紅，還有早攆了的茜雪，似乎在原來的創作計劃中，對淪落成乞丐，關過獄神廟的賈寶玉，是有所幫助的。如果確是這樣的話，高鶚的續書就不合原意了。至少曹雪芹並非作為一般人物來寫的小紅，很明顯地被續書人完全疏忽了。也許賈芸不該是現在這個樣子？也許那個聰明伶俐的丫髮，能使他迷途知返？但從他親筆寫的這封頂刮刮的效忠信，一心一意要給比他年紀小的賈寶玉當兒子的言行來看，高鶚循著這個人物身上的惡本質寫下去，最後無法扼製，成了渣滓，也不是說不過去，一直到賈府出了抄家入官、充軍發配一係列不幸事件以後，老太太死了送殯的日子裏，冷落了一陣的他，終於出現了。雖然賈璉認為他是“不配抬舉的東西”，可環顧左右，還有幾個兵，幾個將呢？於是隻好對王夫人說：“薔兒芸兒雖說糊塗，到底是個男人，外頭有了事來，還可傳個話。”是從這個角度把他放在那個位置上的。