“文人画”的概念是明末画家董其昌提出的，其前身是“士人画”，“士人画”是由北宋大文豪苏轼首次提出的，其实是同一概念。“文人”即“士人”，指的是我国古代的知识分子，他们是社会的精英阶层，他们集道德修养和文化修养于一身，在社会历史的进程中发挥着极其重要的作用。我国早期的“士”，特指有职称的官员，他们直接参与政事，在社会上地位突出。汉代及以前，有关文人参与绘画的记载不多，从魏晋南北朝起，文人自觉参与绘画的人数大量增多，有的作品被后人复制并保存下来，文人画产生理论也被记载下来。
南北朝时期刘宋的颜之推说：“绘画的技能体现出微妙的内涵，自古以来，很多有名之士才能表达出来。”唐代的艺术理论家张彦远说：“自古以来善画画的人，不是那些高官贵族，而是一些逸士高人，能够表达得精妙且作品流传广远，绝不是那些职业画工能比拟的。”这为后来文人画派的崛起和文人画概念的提出作出预示。唐代文人画家从自身的审美角度发展了水墨山水画，但没有在理论上提出有关“文人画”的概念。宋代苏轼的“士人画”一经提出，就明确了它的范畴，强调了文人画是一门诗画一律的艺术，并明确提出文人画与画工画的区别。在他的倡导下，一批文人士大夫直接参与，形成了一股可与宋朝画院抗衡的艺术流派。元代的赵孟頫与钱选对此概念有过一次讨论，赵孟頫问：“什么是士人画？”钱选回答：“是隶家画。”隶家就是指外行，内行是指职业画家。在元朝，“隶家画”是文人画的另一名称。 明末的董其昌明确了文人画的概念，将历史上的画家分为南宗和北宗，在中国绘画史上首次提出了关于画派的理论，确立了文人画的正统地位和概念范畴，对后世影响甚大。
文人画家类型并不是单一的，按照文人的身份，可分为五类。第一类：文人出身，闲余时间较多的官吏，他能长期专心作画。代表人物如：东晋的顾恺之、北宋的李公麟、元朝的赵孟頫、明朝的陈洪绶等。第二类：文人出身，并做文职官吏，用部分时间和精力作画。主要是为了抒情遣兴，追求自我表现，并把诗文、书法直接与绘画结合，可以称他们为典型的文人画家。如北宋的文同、苏轼、米芾，南宋的米友仁、扬无咎等。第三类：文人出身，但由于种种原因使他成为隐士或以画为生的专心于书画的艺术家。如五代的荆浩，北宋的李成，元朝的元四家，明朝的沈周、文徵明、唐寅、陈淳、徐渭，清朝的清初四僧、扬州八怪等。第四类：文人出身，自晚明到20世纪初的几百年中，有大量在朝或在野的文人画家。缺乏创造精神，轻视职业画家的绘画及其流派，得到皇室贵族认可、欣赏并与之合作，扩大了文人画的消极影响，如清初四王、小四王、后四王等。第五类：来自民间或出身贫苦的画工。在一定的条件下，长期受到文人的熏陶，也具有文学书法的修养，如明朝的仇英、清末的任伯年等。
北宋兴起的文人画派，在发起之初，是相对于画工画而提出的。画工是以绘画为职业的画家，社会地位一直是属于下层的。到北宋徽宗时，他亲自改革画院，把美术也纳入科举制度，提高了画工的文化修养。画院是从五代的南唐和西蜀开始设立的，宋朝仍然沿用。总体上画院的画家主流倾向要符合帝王的审美趣味，但也有的被文学家、政治家如司马光、王安石等所欣赏，所以画院画体和文人画之间不是绝对对立的。文人善书法，有自己的审美趣味又有较高的文化修养，追求一种平淡的境界，所以绘画上偏重水墨的表现力。从历史发展的角度看，文人画和画院画也是互动发展的，文人画吸收了画院的写实技法，画院吸收了文人画的写意格调。如北宋画院中，花鸟画家崔白等画家表现出野逸、荒寒、清淡的画风，意趣上向文人追求的平淡转化。山水画家郭熙表现出文人的诗情画意。明清时代宫廷绘画也向文人画的清雅靠拢，追求文人写意作品。清代康熙在第二次南巡归来后，要求宫廷画家画《南巡图》，并聘请文人画家王翚担任设计。乾隆皇帝也自附风雅，在绘画上也追随宋元文人山水的意趣。清初文人画家王原祁几乎是宫廷画家。
文人画和民间艺术之间也是互动关系，携手同行，共同演绎了“雅文化”和“俗文化”辩证发展的历程。其实民间艺术作为民族文化的一部分，具有十分丰富的文化内涵，也具有最原始的质朴性和原发性，民间艺术与文人艺术、宗教艺术、宫廷艺术合起来，共同构建了我国传统艺术。如果把南朝的《竹林七贤及荣启期》同东晋顾恺之的《洛神赋图》作比较，不难发现它们之间的血肉关系。明代的唐寅、徐渭、陈洪绶都处于民间，没有进身于上层士大夫阶层，虽然他们风格不一样，却与民间的生活息息相通。陈洪绶的《无法可说图》，造型夸张，极富装饰感，是民间劲气和文人逸气的结合，是雅和俗的统一。清朝的扬州画派和清末的海派，都大量地吸收了民间的市民审美因素，拓宽了文人雅逸的范畴。文人画与民间艺术互动，使文人画的题材和表现内容大大丰富了，如仙桃象征着延年益寿，用民间的大红大绿颜色来表现，这些民间题材拓宽了文人画的表现空间。文人艺术对民间艺术的影响也非常明显。明清时期，民间出现了青花瓷绘，它们多以山水、花鸟、人物为表现题材，而且十分注重笔墨的效果和情趣，既有民间气息又有文人画味道。年画也受到文人画的影响，有的文人画家也会参加年画的绘制，如天津的扬柳青、苏州的桃花坞年画。
总之，文人画在发展过程中，创作的主体始终是文人，创作的思想源泉是传统文化，它注重人格修养；在表现形式上，不断吸收宫廷和民间艺术，在复古和创新的交织中演进。