提奥看完信后，非常感动，立刻给父母写了封信劝他们好好了解梵高的内心。西奥多卢牧师与梵高诚恳地谈了一次话，两人互相原谅了对方。西奥多卢写了一封信给提奥说：“对于你哥哥，起初，我们真不知道怎么办，幸好现在一切都慢慢好转了。为了让他能安心画画，我在他的房间里装上一架很好的暖炉，床底下本来铺的是石块，我把它装上木板，免得他的身体受到湿气。我问他要不要开一个大窗户，他回答说不要。总之，我们鼓起勇气展开一项新的实验，我们打算为他选择一些他所喜欢的衣服。他一向喜欢按照自己的理想和计划行事，但也不能过分固执，遗憾的是，这正是他的缺点。”
西奥多卢牧师也注意到，梵高是真心地对绘画感兴趣。梵高从不和全家人一起在桌前吃饭，而是跑到一个角落里，边吃饭边审视自己的作品，稍不满意，他就把它们撕成碎片。他从不跟家里人说话，他们也很少搭理他。总的来说，梵高认为他们交谈越少，互相相处得越好。
安娜因为一场事故，不慎跌断右大腿骨，结果被抬回到家里来。医生要求她至少要休息半年，否则会留下后遗症。梵高日夜在母亲的病床边服侍。他之前传道时经常照顾矿工中的伤员，因而懂得怎样照顾母亲。大家因此对梵高的态度改变了许多。
梵高在田野里写生作画的一个月中时时产生一种奇怪的感觉，他总能感受到一束不知隐藏在哪里投过来的目光。他知道附近的居民总是盯着他，也知道地里的农民也常常扶着锄头好奇地瞧他。这束目光却不一样，它是专注、炙热、隐秘的。许多次，梵高乘机四处搜寻它的来源，但是毫无收获。
差不多用了两个星期的时间，梵高才捕捉到目光的来源。他在荒原上进行速写时，离他不远有一辆破旧的被弃的货车，有一个女人隐藏在那儿一直注视着他。梵高突然收拾画布和画架，佯装准备回家，只见那女人忽然快速离开了。他悄悄地跟随着，看到她走进他家左边的房子。
晚上梵高问安娜，才知道原来那幢房子里住的是姓贝格曼的一家人。这家母亲独自带着五个女儿，父亲早已去世，五个女儿居然一个也没有结婚。他决心下次出去写生时向这个女子问个明白，为什么要跟踪他。
第二天，他照旧来到田野里的作画的地方。他要捕捉在成熟了的麦地里或枯草地里的农人形象。他们穿着自己织的粗布衫——黑蓝的条纹花样，当衬衫穿旧，由于风吹日晒而褪色的时候，便呈现出一种模模糊糊的朴素的色调，并显露出衣衫下的疲惫的身体。
没画多久，梵高就感到那束目光又出现了。梵高迟疑了一下，因为他既想捉住那个女人，又想把画作完。他作画时习惯一气呵成，在情感爆发时把面前的景色画下来。传统的荷兰绘画最打动他的地方，就在于这些作品画得快，大师们一笔画成，决不修改。他们迅疾地描绘，以便把原始印象原封不动地保持下来，把构思主题的情绪原封不动地保持下来。
创造的热情使梵高忘记了那个女人。等他将要完成时，发现那个女人越来越靠近他。她每走一步便停一停，想退缩，却又稳步向前，被某种无法自制的力量推向前去。他盯住她的眼睛。她的脸上露出惊慌、激动的神情，似乎陷入了某种无法自制的莫明其妙的感情之中。她没有看向梵高，而是直望着他的画，没有做声。他返身作画，凭着最后一股劲儿将画画完。
交谈后，梵高知道了她的名字叫玛戈特。玛戈特三十多岁，长得并不很美，眼睛下面有一些褐色的小雀斑，但是眼睛却很美，那是一双深棕色的、温柔的、神秘的眼睛。原来玛戈特情不自禁地爱上了梵高，所以才一直在暗中注视着他。
玛戈特告诉梵高，她从没有谈过一次真正的恋爱，也几乎没有爱上过什么人，她每天都在祈祷遇到一个自己爱的人，现在遇到了他，终于是得偿所愿了。梵高对玛戈特深切的爱意感到惊奇，他从没想过也会有人爱上自己，以往他都是被拒绝的对象呀。
玛戈特的深情使梵高感动，他们每天都相约在田野中见面。爱情使玛戈特容光焕发，看上去年轻了许多。灰褐色的头发呈现出富有生气的金色，又薄又干的嘴唇逐渐丰满、红润起来。她为梵高带来丰盛的午餐，从巴黎买来他赞赏的画。
玛戈特天天陪梵高出去画画，作画的地方都是要走上许久才能到达的荒原。他们俩走到那儿时，已经筋疲力尽了，但玛戈特从无怨言。梵高作画的时候，她坐在旁边，一动不动，从不打扰他。玛戈特对绘画一窍不通，但具有一种迅速和敏感的反应，能在恰好的时间说出恰好的话。
梵高对玛戈特的感情更多地来自同情和感激，而非爱情。他常想，若是在十年前就遇到玛戈特该是多么好的一件事。玛戈特十分了解梵高对她的感情，但她一点也不难过，她认为爱是美好的感情，不管是爱人还是被爱。
玛戈特的爱使梵高感到愉快，她从不用挑剔的目光看他，他的所作所为在她看来都是正确的。她没有斥责他举止缺乏教养，也不批评他嗓门粗哑，更不嫌弃他脸上风吹日晒留下的皱纹。她从不责备他挣不来钱，也不怂恿他去干与绘画不相干的事。
梵高还没有适应现在的改变，他不相信自己会得到上帝的优待。他天天都准备着这种关系的破裂，准备着玛戈特变得冷酷无情从而对他的失败大加贬抑。她的爱情一直有增无减，她所给予他的是那种只有成熟的妇人才能具备的深刻的同情和崇拜。
玛戈特的母亲对她说了许多梵高的坏话，比如他与克里斯汀的事，说他是个花心的浪荡子。玛戈特并不相信梵高是那种人，她坚定地认为那是恶语中伤。梵高把自己和克里斯汀的故事告诉了玛戈特，她非常理解梵高。
全纽恩南都在议论梵高和玛戈特，镇上的人喜欢玛戈特，但对梵高却既不信任又有些惧怕，而玛戈特的家人千方百计要阻止他们恋爱。玛戈特送给梵高他梦寐以求的约翰·马歇尔著的非常精美的《艺用解剖学》。梵高知道自己没有真正爱上玛戈特，但是他很感激她为他做的一切，于是决定和玛戈特结婚。他们把这个消息告诉家里人，在两个家庭中引起了轩然大波。
梵高家的问题很简单，西奥多卢牧师认为梵高现在是靠提奥供养，没有自立能力，不适宜结婚。玛戈特家要混乱得多，如果五个女儿都不出嫁，就能站在坚固的阵地上对付全世界。现在玛戈特要结婚了，而且是和连自己都养不活的人，在她母亲看来，这将意味着她其余四个女儿的不幸，她无论如何也不能容忍用一个女儿的幸福招致其他女儿的不幸。
玛戈特想要和梵高结婚的阻力太大了，她的姐妹每天都要狠狠地诅咒梵高。她们知道梵高曾经在海牙与妓女同居，靠他弟弟养活，做过画行职员、教师、书店员工，学过神学，还当过福音传教士，但没有一样干得成功。她们认为他已经不可救药、一文不名，像个游手好闲的流浪汉。
梵高到玛戈特家时，遭到了她母亲的侮辱和拒绝。接下去的几天中，玛戈特很难受，因为家里不允许她去看望梵高。梵高一直待在花园中的画室，他毫无办法。玛戈特憎恨她的姐妹，因为她们可能会毁掉她的一生。
许多年来，玛戈特在精神上的失调显露出来了。她精神不健康，身体也不健康。在家人的强攻下，她的精神一天天地消沉下去。玛戈特的脸上重新起了皱纹，旧时的忧愁神情又在眼中显露，皮肤开始苍白和粗糙起来。
梵高在这巨大的压力下想到了放弃。他从来没有真正地爱过她，现在比以前更不需要她了。他对自己的冷淡感到羞愧。玛戈特偷偷从家里溜出来找梵高，她穿着他第一次遇见她时的衣裙，肩上披着围巾。他注意到她双颊上的淡淡红晕。她又成了那个几星期前滋润在爱情中的神采焕发的女人。梵高隐约觉察出她有些不对劲，但是玛戈特的样子看上去很幸福。玛戈特趁梵高不注意，把一个瓶子里的东西喝了下去。
一会儿，玛戈特痛苦地叫起来，在一阵剧烈的抽搐中倒在地上。她的双眼紧闭，脸上流露出一丝讥笑。她又发作了一阵很快的痉挛，身体僵硬起来，双臂弯曲。梵高抱起玛戈特，疯狂地奔向医馆。他不停地大声喊“玛戈特服毒了，快救救她……”
医生把玛戈特救活了，同时建议把她送到疗养院里待一阵子。梵高站在一个黑暗的角落里，一声不响。马车驾到房子的前面，医生用条毯子将玛戈特裹好，抱她出去。抱着玛戈特的医生一出去，四下里立刻静了下来。玛戈特的母亲愤怒地指责梵高是杀人凶手。
原本对梵高改善态度的邻居们，现在对他极为反感。梵高早已习惯别人对他的不友善的态度，但是他不想给父母带来麻烦，他决定离开家里。
创作《吃土豆的人》
梵高一时之间想不到其他可以容身的地方。布拉班特是他的家乡啊，他希望永远住在这里。他渴望描绘织工和农民，渴望置身于冬季的深雪、秋季厚厚的黄色落叶、夏季成熟的麦田和春季碧绿的草茵中，渴望同那些刈割者和农家姑娘在一起，夏日头顶苍穹，冬日坐在炉旁。
他崇拜米勒的《晚钟》，认为那反映淳朴的真实感人的劳动者的作品才是伟大不朽的。他决定搬到外面去住，他找到天主教堂的看守人约翰，请约翰租房子给他。约翰的妻子安德莉娜是个好心肠的女人，她出租给梵高两间房子。梵高就睡在她家楼梯上面屋顶的阁楼里。在这里，梵高可以将全身心放在绘画上了。
这时，悲痛的事情发生了。
西奥多卢牧师去看望一名生病的教民，回来时在住宅后面的台阶上跌了一跤，去世了，家人把他葬在旧教堂附近的花园里，提奥回家参加了葬礼。
从提奥那里，梵高第一次听到了“印象派”这个词语。“印象派”是1874年由法国的漫画家、摄影家和出版家举办的一次画展后流传开来的一个词。画展中有一幅克洛德·莫奈的题为《印象·日出》的油画。评论家路易斯·勒鲁瓦评论这次画展为印象派画展。
印象派的成员有爱德华·马奈、德加、雷诺阿、克洛德·莫奈、西斯莱、库尔贝、高更、塞尚、修拉等。
梵高对他们的作品有很大的兴趣，尤其是当他得知他们和他一样穷困潦倒，靠着与绘画无关的事情谋生时，心中的情感进一步加深了。
提奥邀请梵高一起到巴黎去，但是他还想在这里再待一段时间。
葬礼过后，梵高的妹妹伊丽莎白明确表示他已完全不受欢迎。因为这个家庭确实需要名誉，梵高已经给家庭带来不好的名声了，所以安娜没有否定女儿的决定，梵高在纽恩南就彻底被孤立了。
不久后，梵高与名叫德·格罗特的农民一家交上朋友。那一家有母亲、父亲、儿子和两个女儿，全在田里干活。他们皮肤黝黑，有高高弓起的鼻梁、张得大大的鼻孔、宽大的嘴巴。他们以土豆为食物，喝一杯黑咖啡，也许一星期有一次吃上一片火腿。种土豆、挖土豆就是他们的生活。
斯蒂思·德·格罗特是一个17岁左右可爱的讨人喜欢的女孩子。梵高每天都到她家来，画她们一家子在地里挖土豆、在屋里忙活、吃煮土豆。斯蒂思也常到他的画室里做模特，他们无话不谈。她很顽皮，总是把画室弄得一团糟。冬天又来临了，大雪使梵高不得不留在画室里工作。
梵高想画一幅格罗特一家晚上在饭桌上吃土豆和喝咖啡的油画。为了把他们画好，他认为首先要把附近的每个农民都画下来。
不知不觉又过了几个月，梵高对农民的生活，该画的已经都画过了，该了解的也已经都了解到了。梵高深知再在纽恩南待下去没有任何意义，是该离去的时候了。
梵高在画室里端详着自己的作品，整整两年的时间，他也创作出了上百件的作品。其中有织工和他们的妻子，有织机，有田间的农民，有牧师住宅花园里修整过的树木和那古老教堂的尖顶，有炎炎烈日下的树篱，有大雪覆盖的田野。每一幅都是他努力辛苦的成果，但似乎仍是没有自己理想中的画作。
想到这里，他收拾好画架、颜料、画布还有油画笔，又到了格罗特的小屋，等他们一家人从地里回来。在他们围在一起吃晚餐的时候，他就开始作画。但是每次完成后，他又很不满意，只好第二天又去重复前一天的工作。这些天他没日没夜地画，时常连饭也不吃，靠精神的力量维持着生命。他失败的次数愈多，就愈兴奋。
格罗特一家对梵高很友好，他们晚饭后坐在桌旁，谈论些农事，为梵高做模特。梵高终于画出了他心中的画：画上面有肮脏的亚麻桌布和熏黑的墙，那盏吊灯挂在粗陋的梁上，斯蒂思给父亲端来煮土豆，母亲在倒黑咖啡，哥哥把杯子端在嘴边。
梵高激动地感到已经把握住自己想要的感觉了，就是这种朴实、自然的风格。在他的笔下，布拉班特的农民从此获得了不朽的生命。
这幅画就是著名的《吃土豆的人》。
画完后，梵高把画交给安娜保管，自己则踏上了前往巴黎的路程。