格列佛帮了利立浦特人一个大忙，为他们俘虏了敌人的整支舰队。但他后来因为批评皇帝而铸成大错，他们开始互相猜忌。
格列佛逐渐觉得，利立浦特人比他起初想象的更残酷。而因为格列佛，皇帝感觉自己像个苛刻、暴虐的统治者，他变得愤怒，逐渐认为巨人格列佛不过是个花费不菲的障碍。
其实皇帝这么想也不无道理。养活格列佛确实费用不菲。他需要三百名厨子为他准备食物，吃饭时需要二十个小侍者在餐桌上跑来跑去，搬运各种碟子盘子。跟利立浦特人相比，他的食量太大，一顿就可连骨带肉地轻松吞下好几头牛，而且用叉子一下子就可叉住好几打迷你鸡肉。他能够一口喝掉一整桶的利立浦特葡萄酒，但却感觉只喝了一小杯。
有天晚上，格列佛恰好喝了两三桶这样的葡萄酒，正打算去上厕所，突然听到大街上传来叫喊声。
“救火！救火！”人们大声呼救，“皇宫着火了！”
格列佛立刻一步跨入宫殿，大火正在皇室的居所里肆虐，消防员束手无策，只能一趟趟地用他们那些小水桶拎水，徒劳地试图扑灭大火。
格列佛很快意识到，自己可以助他们一臂之力。反正他恰好憋得想上厕所，于是就把这当作最简单的灭火方法。或许这会浇到几个人，事后还会留下臭烘烘的气味，但这个代价值得付出，不是吗？挽救皇宫才是当务之急。
因为格列佛刚刚豪饮一通，都能接连不断地释放两分钟左右，又因为他非常小心地瞄准了火势最猛的地方，所以他一下子就彻底扑灭了大火。真是如释重负，这座漂亮的皇宫得救了！
这一次，他又满心指望自己会因为帮助皇室而受到感激。但他们其实一点都不高兴。从此以后，皇后就拒绝到那部分受到格列佛“玷污”（这是她的原话）的宫殿附近去了。制造麻烦的并非她一个人。皇帝的若干顾问早就对格列佛充满妒意，于是便借此机会密谋反对他。他们开始在皇帝耳边进谗，说格列佛有可能变成利立浦特的敌人，继续把他留在这个国家会危及社稷。
有一名宫廷重臣恰好是格列佛的朋友，并且依然对他忠心耿耿。一天深夜，人们都已入睡之后，这位大臣来到格列佛的房间，让他尽快离开这个国家，并透露说皇帝及其顾问决定弄瞎他的眼睛，以免他对国家造成危害。
格列佛被吓坏了。他立刻收拾起自己微薄的财产，第二天天一亮就越过大海，逃到邻近的不来夫斯古岛上，他曾经拖走这个岛国的舰队，那不过是几个星期之前的事情。
在最近那场战争中，尽管格列佛是不来夫斯古的敌人，但他们知道他是个好人，听说过他劝告利立浦特皇帝不要杀死和奴役他们。因此，他们欢迎格列佛的到来，还提供一个地方给他居住，他在那里随便待多久都行。但格列佛已经在利立浦特学到教训，他知道，除了自己最好的朋友，不可随便相信任何人。因此他决心彻底离开这个地区，渴望回到与他体型相当的人们中间。
幸好，在不来夫斯古待了几周后，他看到一条适合他这种个头的小船漂到岸边来。他认定那是在一场船难后被冲到这里来的。格列佛把它装备成适合短途航行的船只，又带上足够吃上几周的食物，也就是一百头公牛和三百只绵羊的肉、几百桶水以及其他很多东西。他还带上了六头活的奶牛和绵羊。
在一个温暖的日子，格列佛迎着明艳的阳光，从不来夫斯古扬帆启航了。这次他很幸运，仅仅过了三天就看到海平线上出现一艘正常大小的商船，等船靠近后，他受邀爬上船去。那天晚上，当他和船长、船员坐下来吃晚餐时，他都习惯不了他们巨大的个头。听他说起自己在利立浦特的冒险，他们全都面面相觑，捧腹大笑，以为他肯定是顶着烈日在大海上漂了好几个星期，完全发疯了。直到他从口袋里掏出那六头迷你奶牛和绵羊，让它们在桌上四处奔跑，大家才沉默下来，惊讶地睁大眼睛。从此，他们就相信他说的话了。