二叶亭四迷生于1864年，他的父亲是地方的下级武士，明治维新后担任地方小官吏。明治维新后，随其父辗转于名古屋，东京、松江等地，少年时代受过良好的汉学教育。他把为人正直、“俯仰无愧于天地”当作座右铭。当时沙皇俄国向亚洲扩张，引起日本朝野的愤慨。
他的青年时期正值明治初年，民主思想高涨，民族情感炽热。他受到维新志士的影响，有图谋大业、忧国忧民的思想。他本身想置身于军界为国效劳，但因身体条件差，转而学外语，希望从事外文事业为国增光。1886年，他毕业前夕，外语学校突改为商业学校，他因不满这种改变，愤然退学。
二叶亭四迷在俄国文学的影响下，开始热衷于文学创作，同时进行评论和翻译活动。1886年他拜访了当时成名的作家坪内逍遥，在其帮助和鼓励下，同年发表了文学论著《小说总论》，针对当时日本文坛占主导地位的娱乐文学和单纯摹写现实的创作方法提出不同的看法，主张作为艺术的一种形式的小说应是直接表现和宣传真理的手段，在创作方法上应通过现象描写现实的本质，提出了较为完备的近代现实主义论。1887年，发表反映他文艺观点的第一部长篇小说《浮云》，写在明治20年代，一个正直的青年被录用为政府的下级官吏，只希望和自己相爱的堂妹阿势结婚，把在家乡过着孤苦生活的老母亲接来同往，共享天伦之乐，但他不谙世俗，也不会违背自己的良心去迎合上司的需求，终于被政府机构革职。小说揭露了明治时代官场的黑暗和世态的炎凉，也触及明治社会单纯模仿西方的种种浮浅的所谓“文明开化”的现象。
此后，他认为“文学不是大丈夫的终身事业”，停止了文学创作活动，曾当过情报翻译员，陆军大学和东京外国语学校教授。1904年入大阪“朝日新闻社”。任《朝日新闻》记者和中国清朝的北京警务学堂的干部。直到1906年才发表第二部长篇小说《面影》。这部小说写一个中年知识分子因和妻子感情不和，却与守寡回家的妻妹产生了爱情。这种爱情违背了社会的伦理道德，他只有抛下情人和家庭到中国流浪，最后变成穷愁潦倒的酒鬼。小说对封建势力作了揭发控诉，对拜金主义的世俗风气作了深刻揭露。1907年发表最后一部长篇小说《平凡》，描写了才华出众的知识青年在艰难岁月中空虚而无聊地度过半生的凄凉景象，反映明治社会中“才秀入微”的不合理现象。作品夹叙夹议，对当时的社会风气和文学状况进行冷嘲热讽。
这三部小说以现实主义手法，描写了不与世俗社会同流合污，但又承受不了时代的重压，缺乏冲破现状的勇气，为时代的压力所挫伤，成为明治近代社会被排挤的“多余人”。作品通过对这些“多余人”的描写，对明治社会作了广泛的批判。另外，他的作品清新流畅言文一致，为近代日本文学语言的发展奠定了基础。
二叶亭四迷被认为是日本近代文学的先驱者。他于1908年以朝日新闻社特派员的身份出使俄国彼得堡采访，在回国时，因旅途劳累，肺病加重，于1910年死于途中，时年46岁。他还翻译了一些俄国文学作品，并写有回忆录、日记和杂文等。