《老張的哲學》，雖說沒有像老舍後來發表的那些代表作品那樣成功、轟動，還顯得幼稚、不成熟，然而它卻是老舍長篇小說的處女作。由此奠定了老舍寫作的基礎，為他走向作家之路創造了一個良好的開端。
在《老張的哲學》中老舍以調侃戲謔的俏皮筆調與波瀾起伏的故事情節，描繪了黑暗舊中國生下來的這個怪胎的一係列行動：他的形同兒戲的小學堂的上課情景，北郊自治區的選舉場麵，以及如何企圖納女學生李靜為妾等等。老舍把這個人物的吝嗇與巧取豪奪這兩個方麵的性質描繪得淋漓盡致，從而解剖了這個人物的卑劣的靈魂。具有極大諷刺意味的是，這樣的人物得勢，步步高升，居然由《京師德勝訊公私立官商小學堂》的教員兼小雜貨鋪老板，一躍成為南方某省的教育廳長，由此辛辣地嘲諷了舊中國政治的腐敗。它從不同的角度真實反映了當時的社會現實，提出了生活中的一些實際問題。
《老張的哲學》的發表，使老舍對自己的創作有了信心，對未來充滿了希望。從此他一發不可收，要當真正的作家了。
1927年，28歲的老舍又發表了第二部長篇小說《趙子曰》。
1928年至1929年，由於他讀了英國的威爾斯、康拉德、美瑞狄茨和法國的福爾貝爾（即福樓拜）與莫泊桑等大量的外國名家作品，給予他文學上的感染、幫助，他同時開始寫第三部小說《二馬》。
由於教書與寫書掙下點錢，此時的老舍有了點積蓄。他想既然出了國，就應在回國之前遊覽一下歐洲大陸，他萌生了要了解世界、認識世界的念頭。1929年3月，老舍飄過了英吉利海峽溯塞納河而上，來到了巴黎。在這裏，他還在繼續寫著《二馬》。在巴黎他了解了這個使世界文化寶庫引為驕傲的國家及著名的法國作家巴爾紮克、福樓拜、大仲馬、莫泊桑、左拉、雨果、羅曼·羅蘭。這些作家名人深深地震動了他，他循著偉人的足跡開始了遊曆，看展覽、鑽圖書館，從一個國家到另一國家，馬不停蹄地走，最後又回到了巴黎。
回到巴黎，他本想打點行裝回國，可一算計手中的錢，隻能買到新加坡的船票，不夠回國的路費了。但他並不想找朋友幫忙，便自己想點辦法解決。他想既然出國很不容易，趁此機會多見識見識世界也好。1929年秋，老舍離開歐洲大陸，到達了新加坡。由於路費不足，為了籌集回國路費，他在新加坡滯留半年，並經人介紹在一所中學教書。新加坡這個地方，是在馬來半島的尾巴上。這裏有馬來人、印度人、白人，但最多的卻是華人。然而，這眾多人口的種族也是最受欺辱的，這些炎黃子孫不甘心於自己的社會地位，一味地埋頭苦幹，硬是想憑把力氣，掙出個金山、銀山。然而他們的血汗雖使當地經濟日趨繁榮了，但他們的報酬卻微乎其微。他們創造的勞動果實都被那些殖民主義者侵吞了。
華人也漸漸看出了眉目，新的一代——在新加坡成長起來的一代華人，不再情願任人宰割了。他們一方麵被滾燙的東方民族的熱血鼓舞著，一方麵被西方激進思想撩撥著。他們要人權、要自由。
這些激進的思想給了老舍很大觸動。他被周圍這些熱血青年感染，一邊在教書，一邊又在構思著他的又一作品。原來準備寫的愛情小說《大概如此》改為寫一本表彰華僑開辟南洋事跡的小說，後又改成寫長篇童話《小坡的生日》。
他說：“一到新加坡，我的思想猛的前進了好幾丈，在今日而想明白什麼叫革命……因為東方民族是受著人類所有的一切壓迫，從哪兒想，他都應當革命。”老舍急於回到祖國。
在春天，也就是在旅遊途中，老舍完成了《二馬》這部長篇小說，並寄給《小說月報》。《二馬》以細膩的筆法，描寫了父子兩代人（馬剛仁和他的兒子馬威）在倫敦經商和求學的故事，講述了他倆與房東、英國的母女二人（溢都太太和她的女兒瑪麗）之間的戀愛與失敗的經過。揭示了民族隔閡這樣一個主題，說明由於中國國勢的衰敗，致使中國人也隨之蒙受外人歧視這樣一個嚴峻事實，激發中國人的愛國心與奮進精神。
1930年2月春，老舍離開新加坡回到上海，不久回到北京。這一年夏天，他去山東濟南齊魯大學文學院任副教授，並編輯《齊魯月刊》。
1931年他又完成了《小坡的生日》，發表在《小說月報》上。小說是以南洋為背景，寫孩子們打破種族界限，團結互助，友愛和睦的真摯友情，描寫了他們共同的愛憎和奮鬥，寄托了聯合世界被壓迫的弱小民族共同競爭的美好理想。這部小說問世後得到廣泛好評。老舍說它“是我得意之筆”。
同時，在這一年，33歲的老舍在寒假回北平期間，經老同學羅常培介紹，認識了在北平師範大學讀書的胡潔青。胡潔青身材修長，人長得端莊、秀麗，還寫得一手好字，畫一手好畫，人稱“才女”。在師範大學的學生裏有個小小的文學團體——“真社”，老舍曾被邀請去真社作過講演。胡潔青曾聽過老舍妙語連珠的“創作談”，對他的幽默、詼諧有深刻印象和好感。加上老同事們的撮合，他倆書信往來，建立了戀愛關係。到1931年夏天，胡潔青從師範大學畢業，他們在北平燈市口寰瀛飯店結了婚。婚後半年，他們回到了濟南。
有了安定的家，從此，老舍除用心、認真地去教書外，主要繼續勤奮埋頭於寫作。長篇小說《貓城記》、《離婚》、《牛天賜傳》、《趕集》中的大部分。短篇小說，如《大悲寺外》、《馬兒》、《微神》、《柳家大院》、《抱孫》、《黑白李》、《眼鏡》、《鐵牛和病鴨》、《也是三角》等以及發表在《論語》等刊物上的幽默詩文，大都在這裏寫成。
其中1932年寫的《貓城記》是老舍小說中政治色彩最濃厚的一部作品，也是最激烈最當機立斷的一部作品。盡管他痛感社會的黑暗和不平，但對變革這樣的現實的革命運動，卻又有些茫然。他在作品中曾經多次流露過對於革命鬥爭和革命者的模糊認識。小說發表後不久，老舍就公開表示，《貓城記》據我自己看，是本失敗的作品，於是他要修正自己的思想觀點。在1934年，又寫出了《離婚》。《離婚》是他獻給現代文學的又一新典型。它通過某財政所一群下層小職員窮極無聊的生活和家庭糾紛的描寫，表現了他們灰色的人生和敷衍、折中、怯懦、猥瑣的精神狀態，批判了小市民的庸俗性和庸人哲學，間接暴露了反動官僚機構的腐敗和特務製度的罪惡。
這部長篇小說，是老舍在夏日裏閉門謝客，手不離筆，足不出戶，用了70天時間完成的。
這個時期的老舍在齊魯大學仍是一麵教書一麵寫作，他的名氣在文壇上與日俱增。除此而外，他在校園內的“說名”更是獨占鼇頭，以致許多校外團體紛紛上門邀他去“講演”。
當時隱居在泰山上的下野將軍馮玉祥，因久聞老舍其名，非常敬仰，曾派人送來請柬特邀他上山一敘。老舍早已聽過馮將軍的許多傳聞，自然很想拜望將軍，於是，便欣然前往，上山與馮將軍晤麵。這是老舍第一次上泰山。1934年3月，老舍開始動筆寫長篇小說《牛天賜傳》，因忙，進度很慢，每天編講義上課，平時要編輯《齊魯月刊》，還要翻譯一些文章，有時還要被請去演講，隻有晚上才寫作，他覺得有些力不從心。經過一段思考，他終於下決心辭掉工作，專心於寫作。