“小说”这一概念，最先在《庄子》中就已出现，《庄子·外物》中写道：“夫揭竿累，趣灌渎，守鲵鲋，其于得大鱼难矣；饰小说以干县令，其于大达亦远矣。”意思是渔夫拿着小的鱼线鱼竿，奔走在灌溉用刀沟渠沟壑之间，却想钓到大的大鱼，是很不容易的。同样，仅仅想靠语言上的华美修饰来求得官职高位，和通达大道相比也差得远了。在庄子笔下，“小说”的涵义还是微言琐屑的论道和浅薄的言论的意思。班固在《汉书·艺文志》中写到：“小说家者流，盖出于稗官。街谈巷语，道听涂说者之所造也。孔子曰：‘虽小道，必有可观者焉，致远恐泥，是以君子弗为也。’然亦弗灭也。闾里小知者之所及，亦使缀而不忘。如或一言可采，此亦刍荛狂夫之议也。”可见，直到汉代为止，“小说”仍是里巷街头的道听途说之辞，是上不得台面的。
真正作为一种文体的小说萌芽于先秦，发展于两汉，成熟于魏晋南北朝。魏晋南北朝时期的小说称为“笔记小说”。中国古代小说分为文言小说与白话小说两个系别，魏晋南北朝时期的“笔记小说”就属于“文言小说”。向上追溯，中国的小说从上古神话、民间传说、寓言散文、讲唱艺术等方面不同程度地汲取着营养。到魏晋南北朝时期，小说进入第一个繁盛期。
这一时期的小说，大致可以分为志怪小说和志人小说两类。志怪小说的代表作是干宝的《搜神记》，志人小说的代表是刘义庆的《世说新语》。
志怪小说主要是受到古代神话、寓言的影响，由此衍化而产生的神仙鬼怪故事，主要讲述的“怪”又分为史传记载的历史人物、怪异的鬼神故事和民间传说，也有神仙方术、佛法灵异等。志怪小说体现出强烈的浪漫主义特点，呈现超现实和传奇色彩，是古代劳动人民天马行空的想象力的结晶。
另外，志怪小说的兴盛还有其社会历史原因。古人对宇宙自然的理解力有限，迷信宇宙上天神秘力量，所以凡大事都要向上天请示，这就造就了古代众多的祭祀、祈祷、占卜、巫蛊等活动，民间关于此类的民间故事数量不乏。秦汉以来，道教盛行，神仙方术流行，所以关于神仙方术的故事也很多。总之，志怪小说在魏晋南北朝的兴盛有其社会历史原因，也有其文学相承的原因。
虽然志怪小说描写的是鬼魅之事，但是也是有一定现实基础的，有许多是从民间传说和民间故事基础上加以改编形成的。其中有抨击统治者的残暴和人民的反抗斗争，如《搜神记》中的《三王墓》、《韩凭夫妇》、《东海孝妇》等；也有反映人民对美好生活的追求和向往，包括爱情婚姻生活，如《搜神记》中的《董永》、《紫玉》，《搜神后记》中的《白水素女》，《幽明录》的《刘晨阮肇》，《列异传》中的《谈生》，《续齐谐记》中的《清溪庙神》等；也有表现人民对大自然奥秘的探索，如《博物志》中的《八月浮槎》，《搜神后记》中的《阿香推雷车布雨》等；还有不怕鬼神、勇斗妖怪的故事，如《列异传》中的《宋定伯捉鬼》，《搜神记》中的《李寄斩蛇》等。
这些小说在艺术上还不纯熟，普遍篇幅较小、叙事简单，有的只是粗滥地勾勒出故事的大致情节，缺乏艺术的想象力和细节的描写。小说中的人物，在形象上也还不丰满，语言行动的描写还不够生动。但毋庸置疑的是，魏晋南北朝时期的小说为后来唐传奇的兴盛积累了丰富的经验。
东晋史学家干宝编纂的《搜神记》是这一时期笔记志怪小说的代表作。这是一部记录古代民间传说中神奇怪异故事的小说集，全书凡二十卷，共有大小故事454个。作者在《自序》中称，“及其著述，亦足以发明神道之不诬也。”就是想通过搜集前人著述及传说故事，证明鬼神确实存在。《晋书·干宝传》说他有感于生死之事，“遂撰集古今神祗灵异人物变化，名为《搜神记》。”可见，干宝编辑《搜神记》的态度并不是刻意去虚构一个不存在的神鬼世界，而是确凿地相信神鬼世界的存在，自己只是“实录”它们。
《搜神记》的内容十分丰富。在写神鬼志异方面有神仙术士的变幻，有精灵物怪的神异，有妖祥卜梦的感应，有佛道信仰的因果报应，还有人神、人鬼的恋爱等。在写现实人生方面有揭露统治阶级的凶恶残暴、表现人民的反抗斗争的；有反映在封建婚姻制度下女子敢于冲破桎梏追求美好爱情的；也有反映劳动人民的聪明才智的。这些内容有的来自神话，如卷十四的“盘瓠神话”，是关于古时蛮族始祖起源的猜测；“蚕马神话”是有关蚕丝生产的神话。有的内容来自当时的民间故事，如卷十一“干将莫邪”讲述的复仇故事；卷十六紫玉传说，讲吴王小女的生死爱情；卷十一“东海孝妇”，讲孝妇周青蒙冤的故事；韩凭夫妇的传说则歌颂了忠贞不渝的爱情；卷一仙女下嫁董永的故事也是如此。
这些故事篇幅短小，情节简短，矛盾紧凑，有着强烈的浪漫主义风格特色。魏晋南北朝志怪小说对后世小说产生了重大影响。它所开创的笔记志怪小说类型对后世笔记小说具有深远意义，如宋代洪迈的《夷坚志》、明代瞿佑的《剪灯新话》、清代纪昀的《阅微草堂笔记》、蒲松龄的《聊斋志异》等，都直接或间接地受其影响。其次，唐传奇也是在志怪小说的基础上发展起来的，鲁迅说：“传奇者流，源盖出于志怪。”一些唐传奇的故事如《倩女离魂》与《幽明录》中的《阿庞》，《柳毅传》与《搜神记》中的《胡母班》，《枕中记》与《幽明录》中的《焦湖庙祝》，都与魏晋南北朝时期的笔记志怪小说有继承关系。唐以后的文言小说中始终有志怪一类，《聊斋志异》是这类小说的顶峰。神话戏《天仙配》及后世的许多小说、戏曲，都和它有着密切的联系。（《中国小说史略》）此外，后代的戏曲及传奇与话本小说也有取材于魏晋南北朝志怪小说的。
魏晋南北朝时期的笔记小说，还有一类是专门采辑名士言行，轶事遗闻的小说，在真人真事的基础上选取生活片断来表现历史人物的性格风采。这一类小说叫“志人小说”。志人小说又叫轶事小说，其兴起与文人士大夫之间品评人物和清谈的风气密不可分。志人小说的内容包括俳谐讽刺的笑话、有时人或历史人物的野史，也有逸闻趣事。代表作有三国时魏人邯郓淳的《笑林》，东晋裴启的《语林》，郭澄之的《郭子》，南朝宋代刘义庆的《世说新语》，梁代沈约的《俗说》等。其中又以《世说新语》一书的文学成就最高。
《世说新语》是南朝宋时期（420年～581年）产生的一部主要记述魏晋人物言谈轶事的笔记小说。是由南朝刘宋宗室临川王刘义庆组织一批文人编写的。分为德行、言语、政事、文学、方正、雅量等三十六门，全书共一千多则。刘义庆（403年～444年），南朝彭城（今江苏省徐州市）人，刘宋宗室，袭封临川王。为人恬淡寡欲，雅好文史，不少文人名士聚集在他门下。
《世说新语校笺》《世说新语》主要记叙了士人的生活和思想及统治阶级的情况，反映了魏晋时期文人的思想言行，上层社会的生活面貌，记载颇为丰富真实。其中关于魏晋名士的种种活动如清谈、品题，种种性格特征如栖逸、任诞、简傲，种种人生的追求以及嗜好，等等，都有生动的描写。如《王子猷居山阴》、《华歆王朗》，它记录了文人名士的种种行为：服食、饮酒、隐逸、清谈等，如《刘伶病酒》等，即所谓的“魏晋风度”，也有揭露豪门贵族的腐化奢侈生活的，如《石崇要客燕集》、《石崇与王恺争豪》等；还有记述一些爱国志士和优秀人物的，如《过江诸人》、《周处》。纵观全文，这样的描写有助于读者了解当时士人所处的时代状况及政治社会环境，更让我们明确看到了所谓“魏晋清谈”的风貌。鲁迅先生称之为：“一部名士底教科书”。
在艺术成就上，鲁迅先生在《中国小说史略》中曾把它的艺术特色概括为“记言则玄远冷隽，记行则高简瑰奇”。《世说新语》善于塑造各式各样的人物，在言行中展开他们的性格。同时，运用比喻、夸张等多种修辞手法，使文章描述人物言行更加栩栩如生。文章的文字有一种简约含蓄、质朴隽永的美。明胡应麟说：“读其语言，晋人面目气韵，恍然生动，而简约玄澹，真致不穷。”（《少室山房笔丛》），就是在赞赏《世说新语》语言的生动传神、简约玄澹。
《世说新语》是笔记小说的先驱，是志人小说的杰出代表。它与志怪小说一起，是古代小说发展史上不可或缺的一环，在叙事手法、小说语言、人物描写等方面都继往开来，为唐传奇的兴盛打开了局面。