由于很多事情无法解释，人们的困惑不断增加，所以抱怨也就逐渐多了起来。
——费奥多尔·陀思妥耶夫斯基
1946年初，当母亲被诊断出肺结核后，乔的生活也发生了变化。
1945年的圣诞节，当他打开圣诞礼物后被告知，由于洛杉矶的严重污染不利于母亲的健康，全家不得不搬回明尼苏达州罗彻斯特市的外祖父家。虽然母亲抱怨说她的病情是由洛杉矶的烟雾造成的，可乔却知道真正的原因。他经常能看见母亲弯着腰，不停地吸烟，咳嗽。自己刚刚过完7岁的生日，全家就收拾行囊踏上了去往明尼苏达的火车。旅途似乎特别漫长，凝视着窗外寒冷的夜空，乔第一次看到了冰雪。在蓝色的月光下，乔还注意到雪地上有一匹孤独的狼，乔觉得自己的心就像那匹孤独的狼一样寂寞。
到达外祖父家后，乔立即注意到墙上有一幅画，画面中正是雪地上的孤狼。乔禁不住打了个冷颤。当天晚上，外祖母把他们兄弟俩拉到了一边对他们说：“我希望你们长大后不要像你们的父亲那样卑劣。”第二天，埃塞尔被送往罗彻斯特以北45公里处，位于明尼苏达佳能瀑布附近的结核病疗养院，在那一住就是两年之久。
当时，罗彻斯特是一个非常寒冷的小城镇，这座白色覆盖的小镇因著名的梅奥诊所而闻名于世。乔外祖父母家的大房子还充当过公寓，他们的孙子到来后，他们不得不腾出两个房间，一个给劳里塔用，另外一个二楼的小卧室给乔和伊凡用。父亲则在圣玛利亚医院找了一份厨师的工作，住在宽敞的还没有装修完的阁楼上。他充分利用了阁楼上的空间，做了一个舒适的壁橱，摆了一张小床，在窗口放了一张工作台，闲暇时也可看看窗外的风景。
尽管二楼孩子们住的卧室里面有卫生间，但是他们的外祖父母还是让他们到楼下使用地下室里的卫生间。一天晚上，困倦的乔在马桶盖上小便了，结果第二天就遭到了外祖父的批评，外祖父表情严肃，用愤怒的德国口音说：“我要刮掉你的鼻子！”乔心中田园诗般的半热带生活被彻底摧毁，在新的环境下感到非常陌生。
外祖母劳拉要求兄弟俩要尽量保持安静。她不喜欢他们在客厅里玩耍。乔觉得客厅里面充满了霉味，又破旧不堪，尽管如此，他也非常向往，因为玻璃窗的书架上面有很多有趣的书籍。最引人注目的是，在装有可以活动下巴的陶瓷头骨旁有一本很大的德文版的圣经。外祖母要求兄弟俩要一丝不苟地完成交给他们去做的事情，所以兄弟两人也学会了保持沉默。表面上来看，这对他们似乎很苛刻，但乔心里明白，自己已经学会了独立思考，并意识到只有自己才能为自己创造幸福。
当天气转暖的时候，乔和伊凡陪父亲住在阁楼里，父亲在壁橱上面为他们放置了一张双人床，这样他们就可以在阁楼里睡觉了。兄弟两个喜欢住在父亲身边，远离外祖父母的视线。
1946年2月，乔和伊凡进入罗彻斯特市的林肯小学读一年级。入学后不久，他们就参加学校组织的各种各样的智力测试，由于兄弟二人表现异常突出，他们从一年级直接跳到三年级。最后，乔和伊凡同意学校安排上了二年级，班主任老师是泰勒女士。
作为墨西哥和美国的混血儿，在大多数都是白人的学校里，兄弟二人遭到了其他同学的歧视。他们上学的第一天，班里一些同学就宣扬乔和伊凡是印第安人，而不是美国人。有一次，在操场上踢足球时，乔的一颗牙被人踢了下来。兄弟二人经常用西班牙语来互相安慰对方，可是没过多久，班里的小霸王博·博斯特拉姆把乔和伊凡拽到一边对他们说：“在这里我们再也不想听到你们讲你们的印第安语！你们听明白了吗？”这次威胁非常有效，以后两个人在一起时再也没有讲过西班牙语，因此，二人以前学会的那些西班牙语后来几乎全忘了。
有一天，乔和伊凡路过小镇，正当他们透过玻璃注视着商店里面的玩具时，一个女人走上前来，觉得他们这对双胞胎兄弟非常可爱，就给他们每个人买了一个玩具手枪。回家后，外祖母劳拉看到他们拿着玩具枪，马上认为他们是偷来的。大加责骂后，她从兄弟二人手中抢下玩具枪使劲地摔在茶几上，出乎自己的预料，茶几的玻璃面也被打碎了。乔和伊凡认为外祖母的行为非常滑稽，这种想法差点让他们笑出声来。然而，外祖母的这种不信任在乔的心里造成了深深的伤害，以至于为后来的事情留下了伏笔。
与此同时，乔的心里又有了另一个规划。这一规划让他觉得自己是最聪明的，是个天才。这两个规划没有形成互补，给乔正在成长的幼小心灵造成了极大的混乱。最为重要的是，乔对此极为敏感，不知如何应对。
曾经最让他们感到安慰的姐姐劳里塔也上了高中，性格也变得有些叛逆。她有很多朋友，学校的男同学们都喜欢她。她是一个来自墨西哥的满怀异国情调的女孩，这一点在明尼苏达很少见。乔意识到他的姐姐正在发生着极大的变化，他们见到她的机会也越来越少了。
在结核病疗养院，埃塞尔刚做了一个手术。结核损伤了她的一个肺叶，她不得不通过手术摘除一部分肺和两根肋骨。在家里，恩里克酗酒越来越严重。在明尼苏达过的第一个圣诞节，他就在外面喝多了酒，回到家里的时候连钥匙也给弄丢了。看到父亲那种困惑的状态，乔一边在地上摸索着钥匙，一边暗自伤心难过。母亲离家在外，姐姐又经常不回来，父亲与他们也变得越来越疏远，乔和伊凡没有办法，只有靠他们严厉的外祖母来爱护和指导他们。