他休息了几天后，决定画一些描绘夜晚景象的画。在顾客吃饭、女侍前后招待照应的时候，他画了那家灰色的饭馆。他画了拉马丁广场上厚重温暖的钴蓝色夜空，空中点缀着千万颗明亮的星星。他到大路上画了月光笼罩下的丝柏树丛。他还画了德努伊咖啡馆，那是一家通宵营业的咖啡馆，因而有些流浪汉无钱付房租或烂醉如泥时就可以在这儿呆一夜。
他头一天晚上画了这家咖啡馆的外面，次日又画了它的内部。他企图用红色和绿色来表达人的可怕的欲望。他把咖啡馆的内部画成恐怖的几种对比色，墙壁是暗红色，地板是明显的黄色，中间一张弹子台则涂成绿色，桌面画成蓝色，又画了四盏柠檬黄的灯放射出橙色和绿色的光。在那些睡着的流浪汉小小身躯上，他使用了最不相容，对比最强烈的红色和绿色，以造成一种不可调和的对比。他在试图表达这样一种想法：这个场所是一个使人破产、发疯或犯罪的场所。阿尔人看到他们的“伏热”整夜在街上作画，然后大白天睡觉，感到挺可笑。温森特总是他们取笑的对象。
温森特租一套房子，出乎他意料之外的是，这一整套房子的月租金才15法郎，比他住旅店还要便宜。
温森特到外面买了一张便宜的床垫和一把椅子搬回了黄房子。他决定用底层的房间作卧室，上面的房间作画室。
他终于有了个只属于他自己的家。
秋天就要过去了，温森特想在冬天来临之前赶快画一些好的作品。他辛勤地在外面奔波作画。
他画了一幅秋天的花园：两株丝柏树，像酒瓶那样的深绿色，形状也是像瓶似的；三株矮小的栗子树，挂着烟叶黄和橙色的叶子；还有一棵长着淡柠檬色叶子和紫罗兰色树干的小紫杉和两丛血红色的、长着深红色叶子的矮矮的灌木；以及一片沙地、一片草茵和一片蓝天，空中旋转着硫磺色的火球。
在他完成这幅秋天的花园后不久，冬天来了。温森特天天留在他温暖宜人的画室中消磨时光。提奥来信说：“高更到了巴黎，他的心情很不好。”温森特开始给高更布置房间，他把节省下来的每一个法郎都用在了这件事上面。他把墙壁粉刷成淡紫罗兰色，并把地面铺上红地砖。他买来非常浅的发绿的柠檬黄色的床单和枕头，一条大红被子，并且把木床和椅子漆成鲜奶油色。梳妆台被他漆成橙色，脸盆是蓝色的，门是淡紫色。他在墙上挂了一些画，拆掉窗上的遮板，然后把整个房间的布置画成一幅油画寄给提奥。
他经济上处于拮据的境地。他没有钱雇模特，他就一遍又一遍地在镜子前画自己的肖像。他为他常去的那家的咖啡馆的老板娘吉诺太太画了一幅油画，她穿着阿尔的服装，衣服是黑色和普蓝色，她坐在一把橙色木扶手椅上双肘靠着一张绿色的桌子，背景是淡黄色的。一个年轻的朱阿夫兵为了赚点钱，同意坐下来画像。他的脸很小，脖子粗得像公牛，眼睛凶得似老虎，穿着身蓝军装，衣服的镶边是不鲜艳的橘红色，胸前有两个淡黄色的点缀；一顶红色的帽子戴在那颗晒成古铜色的、像猫一样狡猾的头上，头背后衬一块绿色，结果色调上极不和谐的粗野的配合，十分刺目，很适合表现这个士兵的性格。
春天来了。黄房子后院的一排夹竹桃树像是发了疯，花开得如此繁茂，很可能得了水和养分失调的毛病。桃树上缀满新开的花朵，中间还有开败的一些，这些夹竹桃的勃勃生机一直在源源不断地更新着，补充着，似乎永远开不败似的。
温森特重新又背起他的画架到乡间去寻觅可以画在他的十二块墙壁镶板上的向日葵花。
犁过的田野上，土地是柔和的棕色，天空点缀着片片白云。有一些向日葵花是他在黎明时分对着长在地里的向日葵一挥而就的，其他的则是他带回家放在一个绿色花瓶中的画成的。
到他把房子布置就绪之时，夏季风已经来临。随同而来的是那轮酷热的太阳，那种猛烈的西北风，那种不断上涨的不安的气氛，以及乡间和这座抹在山坡上的石头城所呈现出来的那副痛苦不堪、备受折磨和驱策的样子。随同而来的还有保尔·高更。
他带高更上了山，穿过被阳光烤得梆硬的市政府广场，沿着城后面的那条市场路走着。朱阿夫兵正在兵营外的田野上操练，他们红色的土耳其帽在太阳底下亮闪闪的。温森特带着高更穿过罗马竞技场前的小花园。阿尔妇女们为了呼吸早晨的空气正在散步，温森特一直在如醉如痴地向高更讲述她们有多么漂亮。他们回到黄房子，在生活上做了些安排。他们接着开始谈论画，并且开始争吵——他们只要一谈到画，就要争吵。
高更崇拜的那些画家，温森特看不起。被温森特奉若神明的人，却为高更所嫌恶。他们在有关本行的每一个问题上，都持有异议。也许在任何问题上，他们都能平静而友好地讨论，惟独绘画却是他们生活中最重要的东西，他们都竭尽全力地为各自的思想而战。高更的蛮劲儿是温森特的两倍，而温森特的暴烈却使他们正好旗鼓相当。
火辣辣的炎热夏季来临。乡间一下子变得五彩缤纷。深浅不一的绿色、蓝色、黄色和红色如此丰富，叫人看了为之惊讶。凡是太阳照得到的地方都被烤得干透了。罗讷河河谷在一波又一波巨大热浪冲击下颤抖着。
太阳同时也不停地袭击着两个画家，晒伤他们的皮肤；西北风刮起来，鞭挞着他们的身体，抽打着他们的神经，摇晃着他们的脑袋，使他们头痛欲炸，脖子也感觉要折断。
然而最要命的是温森特和高更，两个人就像两座活火山，每天都要喷涌出滚烫的岩浆。一到夜晚，在外面作画一天的他们由于太疲劳，太兴奋而不能入睡，于是把剩下的精力用来互相对付，他们互相挖苦、恶意攻击对方的理论和崇拜的画家。
为了不错过他们自己和大自然都将成熟结果的时刻，他们着了魔似的工作着。一天又一天，他们用自己热情的画笔战斗；一夜又一夜他们由于各自那种强烈的自我中心而吵架斗嘴。黄房子中每时每刻都充满浓浓火药味。
温森特从早上四点钟开始，直画到夜晚悄悄遮上他面前的景象。他一天画成两幅，有时甚至三幅。随着每一幅用他的生命创造出来的画的完成，他抛洒出可以维持他一年的鲜血。对他来讲，要紧的不是他在人世上可以逗留多久，而是他用这一生的岁月去做些什么。对他来讲，时间不是用一页页飘动的日历，而是用一幅幅画出的油画来计算的。
他感觉他的艺术已经达到了顶点，这是他一生的最高点，这是所有这些年他努力奋斗、孜孜以求的时刻。他不知道这一时刻会延续多久，他只知道他必须画，多画一些，还要更多、更多地画。他的一生的这一顶点，这一短暂的然而又是无限长久的时刻，必须保持、持续、推延到他把自己心灵中酝酿已久的那些画全部创作出来。
他和高更白天画上一整天，夜里又吵上一夜，根本不睡觉，吃得也少，过多的阳光、色彩、兴奋、烟草和苦艾酒充斥着他们的身心。他们受着风吹日晒和自己创作欲望的折磨，彼此间的愤怒狂暴也使他们感到苦恼，郁积在他们心中的厌烦和愤懑越来越增加了。太阳灼烤着他们，西北风鞭挞着他们。色彩刺得他们眼睛简直要瞎了，苦艾酒散发的热把他们空空如也的肚子胀得鼓起来。在那些使人热血涌流的热带夜晚发生的狂风暴雨似的争吵摇撼着这座黄房子。高更不想继续待下去了。温森特不顾一切地挽留他，但是，每次恳求都被高更拒绝了，整整一天，温森特又是央告，又是引诱，又是诅咒，又是威胁，甚至还抹了眼泪，黄昏时，高更已经疲惫不堪。为了休息一会儿，他让步了。
接下来的日子，温森特非常的安静，神情忧郁、消沉。他几乎没跟高更高说过一说话，他甚至没有拿起过画笔，只是坐在一把椅子上凝视着他的画。有一天，他突然对高更说道：“咱们的画全失败了！”
高更认为他又在胡言乱语，不予理睬，自己出去转悠去了。
温森特走到自己的卧室，他拿起那面他曾经对着画过许多次自画像的镜子。他看到了自己布满血丝的双眼，茫然、无神、呆滞。末日已经来临，他的生命结束了——他在自己脸上看到这些。
手边有把剃刀，他将它举起来，感到剃刀锐利的锋芒。有个声音在他耳边絮絮低语，突然阿尔的太阳在他的镜子上刺目的一闪——他割下了他的右耳！他扔掉剃刀，用毛巾把头包上。血滴到地上。
高更把温森特送到了医院，然后他回到巴黎。当温森特在阿尔医院醒来时，提奥正坐在他床旁，开花的栗树。
过了一段时间，温森特出院了，但当他回到黄房子时发现房东已经订了合同，打算把他赶走后把房子租给一个烟草商。温森特深深依恋这所黄房子，这是他在普罗旺斯土地上惟一的根基啊。尽管出了事，他仍然把它视作自己的永久住所，所以他决心跟房东斗争到底。
他的健康和他的工作在慢慢地恢复。他没有想到人的脑子受了伤竟是可以恢复的。
他的朋友来探望他并叫他放心，在普罗旺斯，人人不是发热就是受着幻觉或者疯病的困扰。又过了几个星期，温森特已经可以整日在画室工作了。关于疯和死的念头已不再在他的头脑中萦回了，他感觉自己正常了。
他终于敢出门画画了。在阳光灼晒下，麦田黄色灿烂辉煌，可是温森特却不能把它表现出来。他一直按时作息，避免兴奋和强烈刺激的生活。他现在感觉正常，以至到了没法作画的地步。雷伊大夫曾经告诉温森特：“你是个非常神经质的人，从来没有正常过，当然艺术家都是不正常的，正常人创作不出艺术来。你对生活和自然过于敏感，但是这种神经过敏会导致你的毁灭。每个艺术家早晚得在这种过度敏感的压力下垮掉。”
温森特知道要获得这种在他的阿尔油画中占支配地位的强烈的黄色调子，他就得紧张，就得进入兴奋状态，就得有一阵阵的冲动和强烈的感受，他的神经就得受刺激。如果他允许自己进入这种状态，他就又可以像以前那样画得光彩夺目，但是，这却会把他带向毁灭。
“不那样去画，一个艺术家还活着干什么？”他喃喃自语。
他又不戴帽子到田野上，吸收着太阳的光和热。
他陶醉在由天空、黄色的火球、绿野和怒放的鲜花组成的一片狂欢的色彩中。他任凭西北风的鞭挞和沉重夜空的压抑，任随向日葵花激起他的想像，使之达到迸发的顶点。
随着他的情绪的激动上涨，他的食欲下降了，他开始靠咖啡，苦艾酒和烟草维持生命。他夜不能寐，只觉得乡间浓烈的色彩在他那充血的眼睛中奔流。最后，他背起画架又到田野上去了。
他的创作力重新焕发，他对大自然那共有的节奏的感觉，和他几个小时就画成一幅大张油画并且让画面上流溢着灿烂阳光的才能恢复了。每天创作出一幅新画，每天他的情绪都在升高。就这样，他一连气画成了三十七幅油画。
终于在一天早晨，他发觉自己又开始发愣和迟钝，那些奇怪的声音又回到他耳里。
他恍恍惚惚地走到一家饭馆，突然他感觉别人想毒死他，他摔碎盘子，踢翻桌子，吓得顾客夺门而逃，或者呆若木鸡。
两个警察把他送到山上的医院里。
在医院呆了一个月，温森特回黄房子住了。到现在为止，这座城里的人，特别是拉马丁广场的人，都对他满腔愤怒。那只割掉的耳朵和盘中的毒药已经激怒了阿尔人，他们坚信画画能叫人发疯。每当温森特走过，他们就拿白眼瞪他，大声议论，并且远离他。城里没有一家饭馆让他进门。
阿尔的小孩聚集在黄房子前面嘲笑捉弄他。
温森特把窗子关上，可是那些小孩的叫喊声和笑声仍然能传进来：“‘伏热’！‘伏热’！”“疯子！疯子！”
温森特想出去躲开他们，这群兴高采烈的调皮鬼又唱又笑地跟着他。他们越闹越凶，并且搭上木板往二楼爬，他们打破窗户，把头伸进去，拿东西扔温森特。温森特从画架前蹒跚着走过去，他们又跳下木板，在楼下继续狂叫笑骂。
温森特把他随手碰到的东西捡起来扔向拉马丁广场，把它们摔得粉碎。他的椅子、脸盆，他的画架、镜子，他的桌子、床单，还有他的墙上的向日葵画，全都雨点一般朝普罗旺斯的顽童们抛去。
一份请愿书立即在拉马丁广场一带传开来，90个男人妇女在上面签了名，要求市长对居住于拉马丁广场二号的病人温森特·凡·高予以监禁。
温森特被关进一间牢房。
雷伊大夫获准探监。他担心温森特的癫痫病发作起来使人失去理智，决定给他找一所能给他良好照料的医院。于是，他们把他送到了一家精神病院。