章回实际上是一种故事的分段结构形式，它既取法于古代典籍的分章格式，又直接导源于说话（说书）艺术分次（回）讲完的需要。从古代典籍来看，分章行文很常见。列为十三经之一的《孝经》，就是依《开宗明义章第一》、《天子章第二》、《诸侯章第三》的章次展开的；诸子书如《墨子》也采取这种分章格式；小说意味甚浓的《晏子春秋》的分章题目如《庄公矜勇力不顾行义晏子谏第一》、《景公饮酒酣愿诸大夫无为礼晏子谏第二》等，更与后世的小说章回接近。
章回形式的产生，根本的原因还在于说话艺术的特点。所谓说话，是宋元以来随着城市商品经济发展而勃兴的一种包括诸多门类、以讲述故事为主的民间说唱伎艺。宋元时期的说话艺人演说时，善于敷演“说收拾寻常有百万套，谈话头动辄是数千回”，一些长篇讲史故事更非一天一场所能了结。每讲演一段，为了收受钱财听资并吸引人们听下去，就在紧要关头宣称“欲知后事如何，且听下回分解”。每回讲演的时间大体相同，故事的长短也基本相等。这一由宋元说话艺人为实际需要而创造的结构形式，既为听众所习惯，又便于情节安排，也就为后世创作小说的文人所承袭。
由此可见，章回小说萌芽于宋元说话艺术。一些流传至今的话本（即说话人所据以说唱的底本）虽无章回小说之名，而有章回小说之实。如《碾玉观音》分上下两回，《西山一窟鬼》可“变做十数回”，《张生彩鸾灯传》中也有“且听下回分解”的字样。至于长篇作品，内容繁富，规模较大，分卷分目，更为常见。元朝至治（1321～1323）年间刊刻的“全相平话”五种之一的《乐毅图齐七国春秋》即分为三卷，又各立小题目，依次叙述。作为《西游记》前身的《大唐三藏取经诗话》则有《行程遇猴行者处第二》（第一章原缺）、《八大梵天王宫第三》、《入香山寺第四》等17个章目。这部作品被王国维认为是后世章回小说之祖。
章回小说的正式形成是在明代。《三国演义》、《水浒传》是最早的章回小说。明代嘉靖本《三国志通俗演义》分240则，每则的篇幅大致相等，各用整齐的七言单句作题。回目虽没有完全创立，但章回体制已大体确立。后来，标明李贽评吴观明刻本的此书即改240则为120回。万历十七年（1589）天都外臣序刻的《水浒传》也取消卷数，直接标目为“回”，又加上了对偶的双句回目。明中叶时产生的《西游记》、《金瓶梅》等都是分回标目，只是有的回目上下句对仗不工。
但是，也不能根据回目是奇偶句的区别，就断定小说创作时期的前后。《封神演义》成书年代在《西游记》之后，用的却是单句的回目。明末清初，采用工整偶句的回目才逐渐成为固定的形式。自此以后，直至近代，中国的长篇、中篇小说，普遍采用章回体制。清代的《红楼梦》是最完美的章回小说。
实际上，不仅中长篇小说，许多短篇白话小说也具有章回小说的特点。不但早期短篇话本的分段讲述是章回之所从出，而且它的“入话——正话——煞尾”的封闭式结构也为章回小说所袭用。所以，有时短篇话本可以看作压缩了的长篇小说，而长篇小说又不妨认作扩充了的短篇话本，《水浒传》就曾经作为一些短篇话本流传。还有一些长篇小说是由短篇故事组成的。同时，明中叶章回小说成熟以后，短篇小说的整理者如冯梦龙、凌闬初等，都按照章回小说的形式编辑小说集，如《警世通言》中的小说虽各自成篇，却又上下两篇互相对偶，《俞伯牙摔琴谢知音》对《庄子休鼓盆成大道》、《钝秀才一朝交泰》对《老门生三世报恩》等，只要需要，编者是不难将它们连缀成《儒林外史》那详情节联系不甚紧密的长篇小说的。如果进一步考虑，这些短、中、长篇小说在内容与表现手法上多有相通之处。故所谓章回小说，可以理解为包括短篇话本、拟话本在内的全部古代白话小说。