章回實際上是一種故事的分段結構形式，它既取法於古代典籍的分章格式，又直接導源於說話（說書）藝術分次（回）講完的需要。從古代典籍來看，分章行文很常見。列為十三經之一的《孝經》，就是依《開宗明義章第一》、《天子章第二》、《諸侯章第三》的章次展開的；諸子書如《墨子》也采取這種分章格式；小說意味甚濃的《晏子春秋》的分章題目如《莊公矜勇力不顧行義晏子諫第一》、《景公飲酒酣願諸大夫無為禮晏子諫第二》等，更與後世的小說章回接近。
章回形式的產生，根本的原因還在於說話藝術的特點。所謂說話，是宋元以來隨著城市商品經濟發展而勃興的一種包括諸多門類、以講述故事為主的民間說唱伎藝。宋元時期的說話藝人演說時，善於敷演“說收拾尋常有百萬套，談話頭動輒是數千回”，一些長篇講史故事更非一天一場所能了結。每講演一段，為了收受錢財聽資並吸引人們聽下去，就在緊要關頭宣稱“欲知後事如何，且聽下回分解”。每回講演的時間大體相同，故事的長短也基本相等。這一由宋元說話藝人為實際需要而創造的結構形式，既為聽眾所習慣，又便於情節安排，也就為後世創作小說的文人所承襲。
由此可見，章回小說萌芽於宋元說話藝術。一些流傳至今的話本（即說話人所據以說唱的底本）雖無章回小說之名，而有章回小說之實。如《碾玉觀音》分上下兩回，《西山一窟鬼》可“變做十數回”，《張生彩鸞燈傳》中也有“且聽下回分解”的字樣。至於長篇作品，內容繁富，規模較大，分卷分目，更為常見。元朝至治（1321～1323）年間刊刻的“全相平話”五種之一的《樂毅圖齊七國春秋》即分為三卷，又各立小題目，依次敘述。作為《西遊記》前身的《大唐三藏取經詩話》則有《行程遇猴行者處第二》（第一章原缺）、《八大梵天王宮第三》、《入香山寺第四》等17個章目。這部作品被王國維認為是後世章回小說之祖。
章回小說的正式形成是在明代。《三國演義》、《水滸傳》是最早的章回小說。明代嘉靖本《三國誌通俗演義》分240則，每則的篇幅大致相等，各用整齊的七言單句作題。回目雖沒有完全創立，但章回體製已大體確立。後來，標明李贄評吳觀明刻本的此書即改240則為120回。萬曆十七年（1589）天都外臣序刻的《水滸傳》也取消卷數，直接標目為“回”，又加上了對偶的雙句回目。明中葉時產生的《西遊記》、《金瓶梅》等都是分回標目，隻是有的回目上下句對仗不工。
但是，也不能根據回目是奇偶句的區別，就斷定小說創作時期的前後。《封神演義》成書年代在《西遊記》之後，用的卻是單句的回目。明末清初，采用工整偶句的回目才逐漸成為固定的形式。自此以後，直至近代，中國的長篇、中篇小說，普遍采用章回體製。清代的《紅樓夢》是最完美的章回小說。
實際上，不僅中長篇小說，許多短篇白話小說也具有章回小說的特點。不但早期短篇話本的分段講述是章回之所從出，而且它的“入話——正話——煞尾”的封閉式結構也為章回小說所襲用。所以，有時短篇話本可以看作壓縮了的長篇小說，而長篇小說又不妨認作擴充了的短篇話本，《水滸傳》就曾經作為一些短篇話本流傳。還有一些長篇小說是由短篇故事組成的。同時，明中葉章回小說成熟以後，短篇小說的整理者如馮夢龍、淩閈初等，都按照章回小說的形式編輯小說集，如《警世通言》中的小說雖各自成篇，卻又上下兩篇互相對偶，《俞伯牙摔琴謝知音》對《莊子休鼓盆成大道》、《鈍秀才一朝交泰》對《老門生三世報恩》等，隻要需要，編者是不難將它們連綴成《儒林外史》那詳情節聯係不甚緊密的長篇小說的。如果進一步考慮，這些短、中、長篇小說在內容與表現手法上多有相通之處。故所謂章回小說，可以理解為包括短篇話本、擬話本在內的全部古代白話小說。