1928年12月中旬，巴金回到離開了兩年的上海。上海的革命風暴已經過去，國民黨的青天白日旗暫時安穩地飄著。內地的戰亂，使許多殷實的富戶遷居上海租界，外灘銀行的白銀庫存劇增兩億元巨額。“上海越來越富了”。
剛剛回到上海的巴金卻需為生計找一份能糊口的工作。經老朋友索非的介紹，他到上海世界語學會擔任函授教員，並在沈仲九創辦的自由書店工作。暫時住在世界語學會的辦公室。
索非還有一個好消息告訴他，巴金本想自費出版的《滅亡》，索非看過之後，介紹給了《小說月報》的主編葉聖陶、鄭振鐸兩位前輩，他們看過後，決定在《小說月報》上發表。這確是巴金不曾想到的。《小說月報》是當時的權威刊物，巴金是它的忠實讀者，現在自己的小說要在上麵發表了，巴金後來說：“《滅亡》的發表似乎並沒有增加大哥對我的了解，可是替我選定了一種職業。我的文學生涯從此開始了。”
半個月後，巴金與索非及其新婚的妻子一起搬進寶山路寶光裏14號一幢石庫門二層樓房，索非夫婦住二層，巴金住一樓的客堂間。他每晚去世界語學會工作兩個小時，回來後便坐在吳克剛去時送他的一張舊沙發裏寫作或閱讀書籍。黃昏時他一個人寂寞地去北四川路橫濱橋一帶散步。
1929年1月，《滅亡》開始在《小說月報》上連載，吸引了許多讀者，特別是青年讀者都為小說作者熾烈的感情和流暢的文字而傾倒。小說分四期在《小說月報》上登載完。它以1925年孫傳芳在上海的黑暗統治為背景，控訴北洋軍閥對工人運動和革命黨人的血腥鎮壓和殘酷屠殺，描寫在五四新思潮影響下，追求社會解放的小資產階級革命者的奮鬥、抗爭以及他們的內心矛盾和苦悶。主人公杜大心不畏強暴，敢於鬥爭，抱著“為了我至愛的被壓迫的同胞，我甘願滅亡”的決心，犧牲了寶貴的青春和美好的愛情去刺殺戒嚴司令，結果對方並沒死，而自己卻先滅亡了。杜大心認為“凡是曾經把自己的幸福建築在別人的痛苦上麵的人都該滅亡”，但是卻沒有找到正確的革命道路，於是單獨地進行絕望的鬥爭，內心充滿了孤獨和矛盾，在遺著中有這樣的話：“矛盾，矛盾，矛盾構成了我的全部生活。”
《小說月報》在登完《滅亡》時，編者有一段話：“巴金君的長篇創作《滅亡》已於本號刊畢了，曾有好些人來信問巴金君是誰，這連我們也不知道。看這篇《滅亡》卻是很可使我們注意的。其後半部寫得尤為緊張。”同年10月，《滅亡》又由開明書店出版發行，引起了評論界和讀者的關注。“巴金是新寫實主義一派”。“巴金的思想是安那其主義的”，杜大心“似乎是克魯泡特金的安那其主義，托爾斯泰的人道主義，和阿誌跋綏夫的虛無主義的人格化”。
巴金自己說：“總而言之，我活了二十幾年。我生活過、奮鬥過、掙紮過、哭過、笑過。我在生活裏麵得到了一點東西，我便把它寫下來。我並不是事先打定主意要寫一種什麼主義的作品。我要怎樣寫就怎樣寫。而且我是非怎樣寫不可的。我寫的時候，自己和書中人物一同生活，他哭我也哭，他笑我也笑。我不是想做文人而寫小說。我是為了自己（正如我在序言中所說的是寫給我的哥哥讀的），為了傾訴自己的悲哀而寫小說。所以讀者的讚許和責罵，我並不在乎。”
盡管《滅亡》受到人們關注，巴金的生活仍是孤獨、寂寞的。每天仍舊是除黃昏去北四川路橫濱橋一帶散步外，其餘時間專心致誌地從事他的翻譯和編輯工作。這一年他譯了左拉的小說《她》、赫爾岑的二則回憶《母親之死》，譯完了克魯泡特金的《倫理學》後半部，還翻譯了斯捷普尼維克的特寫集《地下的俄羅斯》。
他仍為自己的內心矛盾所苦，常常沉溺在因懷念黑暗裏冤死的熟人而感到的痛苦中，被個人的悲歡離合攪亂了心。這一年的7月，大哥堯枚從成都來上海住了一個月。這一個月巴金的生活是熱鬧的、愉快的，但也使他想起更多家中人們的不幸。
和大哥同來的還有三叔家的堂弟，住在霞飛路霞飛公寓裏，巴金也搬來和大哥同住。他陪著第一次來上海的大哥去海濱，去公園，也去最熱鬧的南京路，在謀得利洋行買到一張女歌唱家格雷茜·菲爾茲的唱片《寶貝兒子》，兩人都非常喜歡。晚上躺在床上他們一邊聽著唱片，一邊親切地談著話。《滅亡》並沒能使大哥更了解巴金，但分離6年，大哥表現了更多的友愛。
他們經常在一起談過去的事，談母親、父親、二姐、六姐、香表哥，他們一起笑，也一起流淚。大哥還給巴金詳細地講三姐堯彩的死，講三姐夫的境遇。大哥還告訴巴金，二叔也去世了，二叔一心要繼承祖業，維持封建門庭，卻又終於無力挽回大家庭崩潰的危局，李公館賣了，人也散了，二叔抑鬱而死。巴金想起父親去世後，二叔表現出的親情，在他和三哥告別成都時的親切叮囑，不禁心裏發酸。大哥說得最多的是自己這幾年的遭遇，大家庭裏的爾虞我詐，他說：“到父親死後才知道人心險詐，世道凶惡，才知道孤兒寡母的苦。”大哥身體一直不好，商業場的工作已辭掉，又缺少了一筆收入，但他不想讓大家知道自己家坐吃山空，惟恐丟了已去世的祖父和父親的麵子，硬撐著在闊親戚中來往，賣了田去做投機生意。他心裏時時擔憂，不知什麼時候就徹底完了。所以希望巴金和堯林回去，興家立業。
但是，巴金對成都的家毫不留戀，一想到它，就好像有一個黑影籠罩在自己頭上，他時時想起犧牲在“家”中的那麼多可愛的生命、鮮活的青春。他勸大哥，既然那麼厭惡家的黑暗，憎恨人們的沒心腸，那麼就鼓起勇氣，切斷和那個家的一切聯係，甚至可以離開成都。大哥卻覺得在那個“家”中維持下去是天經地義的，認為巴金的話是孩子話。
哥倆是親切的、感情融洽的，但談起未來卻怎麼也談不到一起。這時巴金又起了個念頭，他要丟開籌劃了好長時間的杜家故事，改寫李家的事，要以大哥為主人公寫《春夢》，他在那裏生活了18年，有一個有聲有色的背景和一個豐富的材料庫。他把這個想法跟大哥說了，大哥聽了非常讚成，並且督促巴金快點動筆，並答應幫助他回憶往事。
在上海的一個月，大哥是輕鬆的，但他仍忘不了成都老家，他害怕回去，又必須回去。大哥走的那天，巴金和當時在浦東中學上學的表弟高惠生、李丕龍一起坐上一隻劃子，把大哥送上“其平”號大輪船。大哥淚痕滿麵，巴金想著自己最親近的人又要回到那讓他痛苦的地方去，不知何年何月再相見，眼裏也噙滿了淚花。他握住大哥的手，道一聲“珍重”，便要下船去。大哥卻叫住他，進了船艙打開箱子拿出一張唱片，帶著哭音對巴金說：“你拿去聽吧。”巴金知道大哥也喜歡聽這首歌，況且哥倆曾一起聽著它聊天。他不想把大哥喜歡的東西從他手裏奪來，希望它伴著大哥去度家中的苦悶日子。但又一想自己曾那麼多次違忤過他的勸告，在這分別的時候不想再惹大哥難過，便默默地接住，隨表弟們下船去了。
和表弟們坐上小劃子往回返，望著“其平”號漸漸遠去，望著外灘的一片燈光，巴金想著和大哥共度的一個月，現在分別了，在黃浦江風浪顛簸中流下了眼淚。回來他便給大哥寫信：
這幾年很少哭過的我今天卻流了眼淚了。在暮色蒼茫中我們離開了你。一隻小小的木船載著我們四個人向外灘碼頭劃去。藍空中有幾顆明星，涼風吹我的衣服，前麵是萬盞燈光的上海，後麵是載著你們的“其平”。我離你愈遠了。這時多年的舊事一齊湧上心頭……你流著淚的臉至今還在我的眼前，上碼頭時，分明四個人都上了岸，我卻東張西望，尋找你在哪裏。“大哥，這邊走。”這句話幾乎要說出口來，自己才陡然明白你不在上海了。一種從來不曾感到過的淒涼侵襲過來，我覺得在這麼大的上海市，我隻是一個孤獨的人……這幾年來我在表麵上似乎變得不像從前那樣的孤僻了，其實在心裏我依然造了一個囚籠鎖住自己。
這一時期的巴金就是這樣時時感到突然襲來的孤獨和淒涼。大哥走後，巴金又搬回寶山路寶光裏14號自己的住處，北四川路橫濱橋一帶仍時時留下巴金寂寞的腳印。
1929年巴金的大量時間用來從事翻譯工作，《倫理學》後半部更加難懂，巴金越譯越糊塗，他咬緊牙關，采取硬譯的方式才最終譯完了它。這使巴金的文筆生硬、歐化。但《地下的俄羅斯》和後來譯的克魯泡特金自傳《革命者的回憶錄》則很適合巴金的文筆，熱情、流暢，他邊翻譯邊揣摩、體會，從中受到了影響。
巴金翻譯作品一般是選自己有興趣或使自己感動的。他譯克魯泡特金的自傳，是因為這本書“是我最喜歡的一部書”。譯完後，他給弟弟李堯橡寫信，說應該把這部書“當做終身的伴侶”，把作者“當做模範，去生活，去工作，去愛人，去幫助人”。他深為克魯泡特金這一“道德的發展的人格之典型”而感動，翻譯時常常為之流下感激的眼淚。
這部書是克魯泡特金於19世紀90年代末在政治流亡期間寫成的，他描繪了一幅人人向往的美好圖景：“一個人人平等、自由的社會，一個肯定個人最大價值、把個人的幸福置於最高地位的社會，一個不僅擺脫了金錢的統治，而且也擺脫了官僚和官吏的社會。”克魯泡特金終生保持著強烈的求知欲，“對所有新的書籍、科學上新的發現、藝術中的新事物，直到老年還保持著一種青年人的、如饑似渴的求知欲”。巴金為他的人格和他的美麗的理想而感動。
年底，巴金根據一位留法勤工儉學的朋友的初稿寫成了《房東太太》，隻是增加了後半部瞎眼的老太太癡等戰死的兒子歸來的情節。但這是一個失敗的作品。
1930年上半年，巴金創作了中篇小說《死去的太陽》，寫一個小資產階級在五卅事件中多少有點盲目的活動，以及由活動而幻滅，由幻滅而覺悟的一段故事。初名《新生》，被《小說月報》退稿後改為此名並做了加工，但仍是失敗的。巴金自己分析認為，失敗的原因主要是生活單薄，似乎是為當作家而寫的。