向命運屈服，為征台謀劃
乾隆四十五年（公元1780年）五月，他取道山東赴京，打算在宦海競渡中再決雌雄。行至台兒莊，忽患風疾，雙臂不能自主，他隻好向命運屈服，掉頭南歸。從此開始了長達三十餘年的歸隱生涯。
乾隆五十二年（公元1787年），台灣發生林爽文事件，閩督李侍堯征台灣，道常州，邀請趙翼入幕商研。趙翼出謀劃策，指出：靠省錢成功晚，反不如多花費用，給足軍需，早些攻克成功，反而省錢。台灣林爽文起義因而被鎮壓平息。李侍堯奏明皇上，想要啟用趙翼。趙翼堅決辭官，既歸，複以著述自娛。主講安定書院。往來常（州）蘇（州）之間，所至名流傾倒，專寫詩篇，江左紙貴。與錢塘袁枚、鉛山蔣士銓齊名，如唐之“元、白”，合稱“江右三大家”。
著書立說，自成一家
家居數十年，手不釋卷。所撰《廿二史劄記》三十六卷，鉤稽同異，屬辭比事；其於前代弊政，一篇之中三致意焉。又撰《陔餘叢考》四十三卷、《簷曝雜記》六卷，雖未逮《日知》、《養心》，並足為多聞之助。其餘《皇朝武功紀盛》四卷，亦征史才。所為詩，無不如人意所欲出，不拘唐宋格律，自成一家。有集五十三卷。又《唐宋十家詩話》十二卷。
嘉慶十五年（公元1810年），重赴鹿鳴宴，賜三品冠服。
“文學成就”
趙翼論詩重“性靈”，主創新，與袁枚接近。他說：“力欲爭上遊，性靈乃其要。”（《閑居讀書作六首》之五）“李杜詩篇萬口傳，至今已覺不新鮮。江山代有才人出，各領風騷數百年。”（《論詩》）所著《甌北詩話》，係統地評論李白、杜甫、韓愈、白居易、蘇軾、陸遊、元好問、高啟、吳偉業、查慎行十家詩，他重視詩家的創新，立論比較全麵、允當。
趙翼存詩四千八百多首，以五言古詩最有特色。如《古詩十九首》、《閑居讀書六首》、《雜題八首》、《偶得十一首》、《後園居詩》等，或嘲諷理學，或隱喻對社會的批評，或闡述一些生活哲理，頗有新穎思想。七古如《將至朗州作》、《憂旱》、《五人墓》，七律如《過文信國祠同舫庵作》、《黃天蕩懷古》、《赤壁》等，都獨具特色，並在造句、對仗方麵見出功力。另外，造語淺近流暢，也是一大優點。趙翼的文學著作有詩集五十三卷及《甌北詩話》。
趙翼史學著作有《廿二史劄記》、《陔餘叢考》、《簷曝雜記》、《皇朝武功紀盛》等。由於《廿二史劄記》把《舊唐書》、《舊五代史》羅織在內，實際為廿四史。他單披閱二十四史就達三千兩百卷，加上正文和夾注中引用的稗史筆記四千多種，工作量浩瀚。《廿二史劄記》一書考證史籍著述體例的演變和曆史事實真相，顯示出特有的經世意識和對大量曆史問題的深刻見解，堪稱是乾（隆）嘉（慶）樸學時代創造性思維的出色成果。
“點評”
趙翼與袁枚一樣，主張抒寫性靈。認為撰文吟詩要隨世轉移，與時俱進。但是，趙翼與袁枚相比，經曆更豐富，創作更嚴肅，成就更大一些。趙翼精於史學，他著的《甌北集》，人爭購之，在詩上特別有才華。趙翼從不講個人榮辱得失，深受人們敬重。他與袁枚、蔣士銓齊名，號稱詩學乾隆時期“三大家”。他創作態度嚴肅，成就較高。詩學蘇軾，名句佳作頻頻，洪亮吉評趙翼是當時第一流的詩人。