时光飞逝，幸福和快乐很快疏远了莎莉文一家，此时，爱尔兰的幸运之神也不再保佑他们了。在她还不到3岁的时候，她的眼睛开始发痒，眼皮上长满了细沙状的小颗粒。这些小颗粒刚开始还是软的，到后来居然变硬了，而且渐渐地由小变大，使安妮的眼睛痛得睁不开。
由于痒痛，小安妮整天用手揉眼睛。小颗粒不仅没有消失，反而变本加厉，越一越多了。
然而，莎莉文家并不富有，根本请不起私人医生，只能等待福利机构的巡回医生为安妮治疗。
为了让小安妮的眼睛早日康复，他们尝试了许多治疗方法，也寻了许多偏方。听人说天竺葵泡水洗眼睛可以治安妮的病，爱丽丝便去摘天竺叶子，煮成苦汁，用它来为安妮洗涤眼睛。结果适得其反，小安妮痛得拼命哭叫，眼睛没有任何好转的迹象。
他们实在无路可走了，只好带安妮去看私人医生。医生仔细查看了安妮的眼睛，然后用小刮刀小心翼翼地刮着她眼皮上的小颗粒。安妮痛得尖叫乱抓，医生粗暴地喊道：“抓紧她，不要乱动！”
医生的情绪非常恶劣，既然支付不起治疗费用，为什么要来看医生？而且是来找他！他大吼：“坐下，坐下！”畏畏缩缩的莎莉文夫妇只好小心翼翼地靠在椅子边上。
托马斯恭敬地对医生说：“医生请您必务治好我女儿的眼情，救救这个可怜的孩子吧！”
“好的，我会尽力的，这是一些药膏，回去后，一天涂两次，可能会有效的。”医生的话让托马斯夫妇倍感欣慰。他们似乎看到了希望的曙光，于是便安心离去。
望着莎莉文一家的离去的背影，医生忍不住叹了口气，他知道小女孩的眼睛已经没有痊愈的希望了。
“颗粒性结膜火”也叫“砂眼”是有钱人才生得起的富贵病，医生实在不忍心把这个病名告诉莎莉文夫妇，这对他们来说该是一个多么大的打击啊！“砂眼”不是不能治愈，而是需要花很多钱。治疗这种病需要阳光、新鲜空气及整洁的环境，需要肉类、鱼类、蔬菜和水果等滋养品一调养，莎莉文一家的生活状况根本不具备治疗这种病所需的条件。
医生无可奈何地摇了摇头说：“既然没有办法，就不要再想这些问题了！”如果他们家的条件稍微好一些，这个小女孩根本就不会得这种病。贫民居住区常爱流行“砂眼”，因为滋生它们的温床就是肮脏。
人生在世，往往祸不单行，安妮感染砂眼后，爱丽丝也生病了。
一天清晨，爱丽丝觉得自己的喉咙又酸又痛。几天后开始发烧，她一天天瘦下来，浑身上下没有一点力气。她开始拼命地咳嗽，不用去看医生，爱丽丝也知道自己得了什么病，有多少穷人丧命于可怕的“肺结核”病！
这祸不单行的家庭偏偏又遇厄运，真是一波未平，一波又起。有一天，爱丽丝告诉丈夫：“亲爱的，我们又有孩子了。”
爱丽丝宣布这个消息时，全家正在吃晚饭，当时托马斯漠然放下刀叉，咽下食物。问道：“大约什么时候生？”
“今年冬天吧，我想可能在圣诞节前后。”爱丽丝说。
托马斯露出不屑地神情，语带嘲讽地说：“这可真是个既珍贵又沉重的圣诞礼物啊！”说完，他狠狠地把餐巾一甩，然后扭头走了出去。爱丽丝叹了口气说：“这怎么能怪我呢？”上帝好像在故意和他们做对，她的肺病，安妮的眼疾，再加上尚未出生的婴儿，哪有那么多钱支付这些费用呢？
吉米是在1869年1月出生的，他和母亲一样体弱多病，臀部长了一个大大的结核瘤。
此后，爱丽丝始终生活在忧郁中，她脸色苍白，眉头紧锁。人们告诉安妮，她母亲年轻时非常漂亮的，可是在安妮的印象中，母亲似一尊毫无生命活力的雕像，苍白、瘦弱、倦怠无力。
虽然安妮的眼疾未愈，但是她仍然是父亲托马斯的快乐天使，他们在一起的时候，总是那么愉快。父亲继续为女儿唱歌、跳舞，为他讲故事，只是这样的快乐时光越来越少了。那种快乐值得她用一生来记忆，她印象最深刻的就是父亲蹲在她身旁，目光中充满慈爱，低声问道：“今天还痛吗？”
安妮点点头，她知道父亲说的是她的眼睛。
“来吧，我的乖女儿，在这个难得的好天气，我们出去走走吧！”托马斯牵着她的手走了5里路，来到了邻镇西乡。托马斯是带安妮来看病的，他听说这里有位医术高明的眼科医生，今天是特意过来的。医生检查过后，也和原来的那个医生一样，一言不发，只是不述地摇头。
他们离开医生的诊所，踏上回家的路，托马斯搂着小安妮说：“宝贝，不要担心，这个医生的医术不够高明，总有一天，爸爸要找一个最好的医生，你的眼病一定能医好。”说完，他用力地拍着胸脯向上帝保证。
他将安妮高举过头顶说：“等你长大一点，我要带你回我们的家乡——爱尔兰。爱尔兰香浓河的河水一定可以洗好你的眼睛，从此你的眼睛就不会痛了。”他满怀深情地又加上一句：“那是世界上最好的药水。”小安妮听了爸爸的话，似乎看到了希望的光芒，眼睛似乎不再像从前地样痛了。瘦小的她哪里知道，从美国的马萨诸塞州到爱尔兰的香浓河，路途是多么遥远啊！
在镇中心的繁华区，托马斯带着女儿在街上闲逛。一家商店橱窗里展示的一顶美丽的白色的草帽深深地吸引了安妮，一条淡蓝色蕾丝带垂在帽子后面，她忍不住趴在玻璃窗上赞叹起来。
托马斯看看女儿，然后走进了商店。
安妮看到，橱窗里的帽子被售货员取下来了。不一会儿，托马斯从商店里出来，把帽子戴在安妮头上。她以前从来没有戴过帽子，此时她似乎变成童话故事中最美的小仙女，戴着世界上最美丽的帽子，满载着兴奋和喜悦回家了。
病魔依然无情地侵凌着这个不幸的家庭，面对接踵而至的重重困难，托马斯显得手足无措，他无法让自己坦然去面对这些心中的忧虑和烦恼。沉重的负担和悲哀把托马斯折磨得筋疲力尽，慢慢地，他开始对生活失去信心，学会了借酒消愁，总在酩酊大醉中寻求片刻的安宁，然而洒醉后的清醒会引来更多的忧愁和烦恼。
托马斯回家时常烂醉如泥，初生的婴儿又让他心烦，爱丽丝似乎只剩下一口气了，她的身体非常虚弱，在一旁又吵又闹的婴儿让她无暇去照顾安妮。
此时，年幼的安妮还不懂得做人的艰辛，她需要得到家人的关怀和爱，但是她的父母根本没有多余的精力去照顾她、滋润她、呵护她、爱她。焦虑和不安让她变得暴躁易怒，脾气十分古怪。安妮也无法控制自己的情绪，一个快乐的天使变成了愤怒的小女孩。
安妮并不认为自己无知愚钝，她渲泄情绪的方式与成年人迥然不同。她用整个身体冲击小生命中的郁闷。她大声嘶喊、怒吼东撕西摔，以此将心中莫名的恐惧驱散。
邻居们都难以忍受她的这种情绪，把她称做“讨厌的孩子”。
一次，她把手伸进烤箱里拿面包，不小心烫到了手，强烈的痛让她勃然大怒，尽管这并不是别人的错，可是她控制不住心中的愤怒，抓起火钳，夹起面包，狠狠地摔在了地上，嘴里还喋喋不休地咒骂。
看着安妮愤怒地糟蹋着她们宝贵的口粮，母亲心疼不已，可是她只能无力呻吟：“安妮，安妮不要……”
还有一次，爱丽丝忙于家务，无暇顾及睡在摇篮中的小女儿玛丽，只好交给安妮照顾。安妮在一旁不耐烦地晃动着摇篮，看着摇篮中的婴儿，她不自觉地怒从心生，就是因为有了这个小玛丽，夺走了妈妈所有的怜惜和疼爱。她越想越生气，用力地晃动摇篮，只听咚的一声，摇篮里的婴儿重重地摔在了地上，哇哇大哭。
那天晚上，父亲知道此事后非常愤怒，狠狠地打了安妮。父亲打她的时候，安妮咬紧牙根，忍着不让眼泪流出来。像野草燃烧一样的怨恨，便呈现了燎源之势。
安妮的坏脾气越来越让人无法忍受了。每天早晨父亲刮胡子的时候。她总是喜欢站在旁边看。有一天，她觉得父亲刮胡子很好玩，那些泡沫多有意思呀！于是出于童真安妮高兴地玩起了肥皂泡。
这时情绪不好的托马斯认为安妮在存心捣乱，立刻吼道：“把手拿开！”还顺手打了安妮的手一下。
这一巴掌激发了安妮心中的积怨和愤恨，就像是火药瞬间爆炸一样，安妮把手边能拿的东西都拿起来，向镜子狠狠地砸去。碎碎的玻璃落满了地面，只有挂在墙上的木框还在微微颤动。
安妮像愤怒的狮子嘶心裂肺地喊叫，父亲既没有骂打她，也没有骂她，他只是惊异地看着自己的女儿，喃喃地说：“难道是魔鬼缠身了？或者是鬼迷心窍？你这个扫帚星，看看你都做了什么事！你已经给我们这个幸福的家庭带来了7年厄运了”。这个清晰的字字句句就像钢针一样刺进了安妮幼小的心灵。
可怜的安妮莫名地成了替罪羊！其实托马斯并不是心疼破碎的镜子，他其实是被贫穷和疾病折磨得没有办法。自从那件事以后，每当夜晚来临的时候，安妮总是辗转难眠，父亲的诅咒你魔鬼一样纠缠着她。
然而，这个不幸的家庭继续承受着痛苦，穷困和疾病像一串无法打开的链环，厄运周而复始，年复一年。吉米3岁的时候，臀部的肿瘤越长越大。安妮的眼疾也越来越严重了，爱丽丝病入膏荒，托马斯沉迷于酗酒，这个家庭已近支离破碎的边缘了。在这些苦痛的岁月里，爱丽丝成了整个家的顶梁柱，在她的努力下，这个家勉强维持住了。结核病菌将她折磨得没有了人形。终于有一天她再也管不了这个家了，她放开了双手，离开了人世。从此，这个家已不再像个家了。
此时，只有亲戚们来救济莎莉文一家了，安顿了一个酗酒的男人和3个年幼小孩的去处。
为此，那些亲族代表们专门召开了家庭会议。爱伦姑妈主动提议要收养吉米和小婴儿玛丽。但是没有人愿意收养安妮，因为她一发不可收拾的坏脾气和严重的眼疾让亲戚们对她心生恐惧。
大家经过一番推诿后，最后决定由堂哥约翰与堂嫂苏达希收留安妮。约翰拥有一个制烟厂，虽然规模不算太大，但至少他是个独资经营的老板，生活状况比其他人好得多。
“你们的生活最富裕，由你们抚养安妮是理所当然的事”。大家都不约而同地这样要求约翰。
“这根本不是什么让人信服的理由，你这样说只是因为你们嫉妒我们”。苏达希虽然这样说，但是这是她的责任。当天下午，安妮就住进了堂哥的家。
说起来，苏达希也是个善良的家庭主妇，虽然安妮是个不受欢迎的人，但是她已经尽可能地照顾安妮了，可是安妮从来不遵守任何家教规范。在安妮心中，她已一无所有了，只剩下不可侵犯的“自由”了。因此，她必须好好保护自己不受到伤害。她之所以有这种幼稚的想法，完全是因为缺少是非观，所有的一切只是源于本能，为了维护所谓的“自由”，安妮开始不择手段，变得不可理喻。她用粗暴野蛮的行为把苏达希吓得不愿意再招惹她了。她不遵守任何家教和规则。苏达希堂嫂干脆就不管她了，给她充分的自由，任她自生自灭。
有一段日子，安妮过得最惬意、最舒适。春风送暖，她在田野里游荡，在苹果树下幻想，躺在干稻草堆上发呆，只要离开那个寄养的“家”，她就无比自由和快乐。
有一天，吃过晚饭后，约翰告诉太太：“你猜，我今天看到安妮做什么不可思议的事？”
“在谷仓后面那片草地上，我看到安妮躺在那里，我足足观察了5分钟，她高举着手，一动不动。有只小麻雀从树上飞过来，从她身上掠过，看了她一眼又飞走了，但是安妮仍然保持着原来的状态，一动不动。那只小麻雀竟然又飞回来停在她的手指上，她们像老朋友一样互相观看，当时，我看到眼前这一幕时，简直觉得不可思议。”
听了丈夫的叙述，苏达希不以为然地说：“这有什么了不起的，不就是一只小鸟吗？而她就像一只野兽。我们养匹小马或一头小牛都比养她要好得多。”
约翰却感叹：“她在家里这么凶，在外面却那么温柔。”
秋天到了，学校要开学了，看到其他孩子都准备要上学，安妮也心动了，更何况她也到了上学的年龄。一天，安妮找到苏达希堂嫂，用兴奋而激动的声音颤抖地问道：“我可以去上学吗？”
不料，苏达希却嗤之以鼻，冷冷地说：“别再做白日梦了，凭你这一双眼睛，一辈子也别想读书、写字。”
圣诞节前夕，约翰和苏达希几乎每天都会把大包小包的礼物放在前面的大厅里。而那个存放圣诞礼物的前厅是不准小孩进入的。但是安妮是从来不遵守这些规矩的，她可以自由出入大厅。
一天，在椅子上坐着一个漂亮的洋娃娃深深吸引了安妮。她有着蓝色的眼睛和金黄色的头发，陶瓷做的脸蛋光鲜粉嫩，镶着蕾丝花边的拖地长礼服裹住她，安妮从未见过这么漂亮的洋娃娃，这使她兴奋异常。
虽然安妮有严重的眼疾，看不清东西，大厅又十分昏暗，但是她能够感受到这是个不平凡的洋娃娃。
从那以后，安妮就武断地认为这个洋娃娃就是自己的了。她像母亲照顾孩子一样照顾那个洋娃娃。圣诞节前的亲密相处便得安妮认为，这个洋娃娃只属于她。
圣诞节终于来了，每个人都到大厅里来接受礼物。约翰打扮成圣诞老人分发礼物。每一个小孩都有一份，安妮也拿到她的一份礼物，但不是她想要的那个洋娃娃。那个洋娃娃被约翰送给了自己的女儿。这个现实简直让安妮无法接受，她像失去自己的亲生女儿一个痛心，无法让自己平静下来。
突然，她愤怒地冲过去，一把抢过洋娃娃，揪住金色鬈发，将它狠狠地摔在地上。她发疯似的踩踏地上的洋娃娃。约翰费了好大的劲才将她制止，可是圣诞节的美好气氛已消失怠尽了。
这简直让人无法忍受！为了这件事大家又召开了家庭会议，来讨论安妮的去留。他们对于扮演慈善好人的角色已经厌烦了，当初收留孩子只是碍于情面，现在却已成桎梏了。
然而喜欢孩子的爱伦姑妈却十分喜欢聪明美丽的小玛丽，所以她决定继续收养小玛丽。而吉米臀部的肿瘤越来越严重，昂贵的医药费实在让人难以承受。安妮的坏脾气更让人望而生畏，因此更没有人愿意收养，因为他们都知道，谁收养了安妮，麻烦就会接踵而至。
安妮和吉米这对不幸的姐弟在约翰夫妇回家前，就已经有了自己的归宿。家庭会议决定将他们送到德士堡救济院，从此与莎莉文一家脱离一切关系。