人生何处不风流
纪晓岚虽幸免一死，但此时心中有一种说不尽的凄凉之感。人生世事变化无常，纪晓岚慨叹不已。在亲友的帮助下，纪晓岚将家眷安顿好，将在中秋过后，只身出塞服罪。这段日子里，一家人愁眉苦脸，不胜悲哀。此去关山万里，何日才得平安归来，实在难以预料，许多人就此一去不返，埋骨异域了。
中秋节来临，正是万家团圆欢聚的喜庆之日，纪府的上下人等却无一人能露出笑容，个个脸上笼罩着一层悲苦之情。在为纪晓岚送行的家宴上，夫人流着眼泪说：“老爷，是我害得你落到这步田地，听人说新疆那个地方苦极了，不光不产粮食，就连蔬菜也没有。听说那儿净是沙土，天天风刮黄土，吃饭的碗里都有半碗沙土。这样的日子，老爷你怎么受得了哇！”说罢鸣鸣地哭了起来，家人们也跟着坠泪。
纪晓岚虽然心里也很难过，但他为了安抚家人的心，却哈哈地笑道：“你这话说错了，我虽然吃了官司，却无性命之忧，可是救了卢亲家一家人。如不是这样他们一家男的都要被杀了，女的全都被官卖为奴，那时我们比这还要难过呢。”停了一下，又说：“况且古人有云：读书万卷，行路万里。我万卷书是读了，可万里路还没走。前几年去了一趟福建，长了不少知识。可是还不够一万里，再去一趟新疆，就够一万里了。那才好呢，你们应当为我庆贺才对。来来来，干杯！哈哈哈哈……”纪晓岚轻松的巧言劝说，家人听着也觉得有理，心情也就轻松多了。
中秋节刚过。纪晓岚与家人洒泪而别。一路西行，荒山大漠，莽原丛岭。纪晓岚在差役的押解下，风餐露宿，倍极艰辛，心中苦闷难熬，不断地思念家中的妻子儿女，怅惋世事无常，人生艰难。不过，一路风景倒给了他几分享受。西出玉门，饱览了“衰草连天”和“大漠孤烟直”的塞外荒凉景象，觉得古人的描绘和自己以前的相像，终究不如眼前展现的真切丰富，更深切地体会到“醉卧沙场君莫笑”的凄怆悲壮的心态。
在前往新疆的路上，虽然辛苦，但由于纪晓岚家中有钱，在临走之时，多带了点黄金。一路之上，不断买些酒肉，请解差吃喝。纪晓岚又不时给他们买衣服，买鞋子，打发得那两个解差高高兴兴，不但不来恐吓、刁难纪晓岚，反而给他拿了行李，使纪晓岚轻松了许多。他们饥餐渴饮，晓行夜宿，顶风冒雨，走了几个月了。
乾隆三十三年八月（公元1768年），当纪晓岚在秀野亭，以罪臣的身份进入乌鲁木齐时，他以为，也许从此他要客死在这平沙莽莽的西域。与以前的犯人相比，纪晓岚是个幸运者。因为经雍正一朝及乾隆前期的开发，大西北的面貌已有较大改观。纪晓岚到戍所时，已经十分繁华，人烟稠密，商贾云集，农业发展，粮价极贱，教育大兴，弦歌相闻，歌台舞榭，箫鼓琵琶，繁华到几乎同于内地。
纪晓岚到达乌鲁木齐时，大将军温福还在乌鲁木齐都统任上。他俩在京城时就有过结交，彼此敬重，情谊深厚。温福闻报押解犯官纪晓岚来充军，感到十分意外，赶忙派副将把纪晓岚接到都统府，除及时批了收文，打发两个解差走了之外，并设宴压惊。
从宋朝时候起，对充军发配的人，当地地方官是很有权力的。可以找个借口，把你杀了；也可以任意分配给苦役；也可以分配给轻松活计，并能以军功保你为官。所以温福对纪晓岚，既可视为阶下囚，也可待以上宾之礼。温福对纪晓岚关怀备至，嘘寒问暖，使纪晓岚感激至深。两位老友边喝酒边聊天，温福说道：“真是想不到，你头上的官帽都没了，还是这样无拘无束，真乃天下奇人！”
纪晓岚道：“今日离家万里，得见温大将军，这也乃不幸之中的大幸！愿在帐下效力。”温福哈哈大笑，心里十分舒畅，帐下能有纪晓岚这样的谋士，这是做梦也想不到的。只可惜，纪晓岚是戴罪充军，无力加委，待日后立功，定当禀奏朝廷，使其早日获释。
温福安排他掌管案牍文书，可以少受征战之苦，这项工作对于纪晓岚来说，真是轻车熟路，从容自如，但他一丝不苟，从不草率行事，由于他豁达、诙谐、坦率、没有架子，很快地受到上下人等的赞佩。既然来到军队，他又要真的成为一个军人，每天操笔之余，演习武艺，骑射步战，威武异常。陌生人见之，分明是一位赳赳武夫，谁也不肯相信他竟然是翰林院出身的一介书生。军中高手云集，正是他学习的好机会，他勤学苦练，不耻下问，很快就熟悉了各种兵器。他又重新研读了各家兵书战策，颇有些高人一头的见解，成为温福的得力谋士。使得温福如虎添翼，屡建战功，很快得到了升迁，后来官至大学士之职，对纪晓岚感激至深。纪晓岚也是受益匪浅，成了文武全才，因而，后来乾隆让他担任兵部尚书和武科会试主考官，这是后话。
此后不久，温福接旨回京，纪晓岚又到新任乌鲁木齐办事大臣巴彦弼幕下充职。巴彦弼早慕纪晓岚的才名，现在见他果然才学出众，处事练达，敬慕倍加，遂对他十分体恤，使得纪晓岚成了一位特殊身份的僚属。这期间忙碌不堪，常常是通宵达旦，倒使纪晓岚减少了许多思乡之苦。
按道理来说，此时是纪晓岚一生的低谷，常人会怎么样？抱怨，后悔，消沉，无助感。但纪晓岚虽然有些感慨，但变得更成熟，更乐于从另外一方面找到自己新的收获甚至喜悦和新的努力方向。思维和理念的确能够改变我们的命运。我们的成长不必非得经过痛苦的磨难，而我们每天所遇到的每件事都在考验我们能否带给自己更多的喜悦，而不是痛苦。通常来说，对付痛苦有两个疗法，一个是麻痹自己，一个是超越痛苦。很多人抱怨自己缺乏机遇，其实，机遇具有隐蔽性、即时性的特点。机遇甚至在你感叹的时候已经在那里笑了。只有立足于行动，迅速出击的人才能抓住机遇。
从纪晓岚的被贬乌鲁木齐的事件中可以得出这样的结论，机遇常孕育于变化之中，只有善于识别变化的人，能够从隐蔽的变化中敏锐地感觉到新生的事物，这里常常潜藏着许多诱人的机遇。与时代同步的人，常常可以感觉到新的机遇。思维先进的人，常常可以交识机遇。纪晓岚把被贬的坏事变成了补充自己能量的好事，使自己变得更加强大。
挥洒诗意
一次，纪晓岚跟随巴彦弼到军台巡视，巴彦弼看到纪晓岚那细致认真的态度，心里十分高兴。心想：怪不得皇上那么宠爱他。巴彦弼便把这里的事交给纪晓岚代行办理，让他留在军台，自己回到城里去了。晚上，纪晓岚与一位姓梁的副将同住一屋。两人谈到夜深，梁将军和衣睡下，纪晓岚取出随身携带的书卷，在灯下阅读起来，约在三更时分，侍从进来报告，有份紧急文书需要立刻传递。纪晓岚见梁将军尚在酣睡，不忍叫醒他，便唤军卒去送。谁知军卒都已被差遣出去了，身边的几个侍从又都不熟悉路途，只好将梁将军推醒。
梁将军睡眼惺忪地接到文书，策马疾驰而去。时间不长，梁将军回来，说大约行了十余里，遇到台兵，将文书交给台兵送走了，说完倒头又睡下了。第二天，梁将军起床以后，感到屁股隐隐酸痛，怔怔地想了想，对纪晓岚说道：“纪大人，你说这事怪不怪，昨天夜里，我梦见您派我送朝中的文书，我唯恐耽误了，不断地抽打马匹，那马狂奔如飞……”说着他摸摸屁股，“到了这会儿，屁股还有痛楚之感，真是个怪事！”
纪晓岚哈哈哈一笑，告诉他昨夜的经过。梁将军不好意思地说：“昨夜之事，如梦如幻，这军中的生活，把人搞得疲惫不堪啊！”听了梁将军的话，纪晓岚为自己的身世遭遇感慨起来，叹息道：“唉，人生本来就是一场梦啊！我这里倒有一首诗相赠。”其诗日：
一笑挥鞭马似飞，梦中驰去梦中回。
人生事事无痕过，蕉鹿何须问是非？
“好诗，好诗！”说话的是一位胡须灰白的老将军，他笑着走进屋来。纪晓岚一看认识，这人叫毛功加，也是一员副将。毛功加少时胸怀壮志，投笔从戎，在军中屡建战功，无奈不受上峰赏识，多年得不到升迁，现在已年迈花甲，早已失去了青年时代的凌云壮志，整日里与酒为友，把盏狂饮，醉后倒地便睡，常与纪晓岚述其经历，两人颇为投契，常有往来。这时，毛功加拱手说道：“既然老弟诗兴大发，老朽也向你求诗一首，梁将军你看如何？”
梁将军得到纪晓岚的赠诗，已是十分高兴，赶忙附和道：“我们常年征战沙场，疲惫不堪，没有心思吟诗作赋。纪大人诗风刚健，沉雄古朴，以我们一介武夫看来，你这一诗也能抵干军，纪大人不要推辞。”
纪晓岚见毛、梁二人一唱一和，不好再推辞，便拿起笔来，挥毫而就。毛功加看了，见这诗写得十分贴切，顿时心中洋溢出豪迈的情怀。此诗写的是：
雄心老去渐颓唐，醉卧将军古战场。
半夜醒来吹铁笛，满天明月满林霜。
毛功加对诗虽有一定功底，但与纪晓岚比较相差甚远，如今得到这首诗后，高兴异常，逢人便讲纪晓岚的诗写得如何如何地好，这下倒给纪晓岚添了许多麻烦，请求题赠者蜂拥而至。本来纪晓岚到新疆后很少作诗，尤其是怕为别人题写赠诗。这次一时兴起，题写两首，后悔自己不能自持初衷。因为他现在的身份不比从前，这次是戴罪充军，岂敢任意为文？
再说，胡乱写来，有损自己的声誉，认真为之，又难免不流露出自己的心迹，如果有人想落井下石，岂不正是授人以权柄。于是更加小心，凡有求诗者，全部婉言谢绝，并将原来的所作诗稿付之一炬。
那次，他的同年杨逢元到乌鲁木起来看望他，两人谈起题赠之事，颇有同感。杨逢元的字写得非常好，是个书法家。但也像纪晓岚怕人求诗一样，最怕别人向他求字。纪晓岚说过为毛功加曾题一诗后，杨逢元看了，深感佩服，觉得此诗意境幽深，确实是上乘佳品，十分喜欢。后来，他游城北关帝庙时，一时兴起，将这首诗题在了关帝庙的楼壁上，未署明何人题写。正巧，这时有一位云游道人来到这里，看了楼壁上的题诗，大为吃惊。诗好，字好，美妙绝伦，疑为神仙所题。一时间传扬开来，人们纷纷赶到这里看神仙的墨迹。
一天，有人拉上纪晓岚同去看那庙里的“仙笔”，纪晓岚一眼认出是杨逢元的字，写的是自己赠给毛功加的诗。看到人们奉若神明的样子，忍不住想笑，但一想若是泄露“天机”，那将会给自己招来许多麻烦，于是，由着别人去夸赞，他只是一言不发。
当时，人们都知道，纪晓岚的诗做得好，但书法比不上杨逢元；杨逢元字写得好，但诗却作得只是平平常常。所以竟没有人猜测到他俩头上去。于是“仙笔”之事越传越神，人们都信以为真，直到辛卯年纪晓岚离开乌鲁木齐还京时，他才当众把这件事说出来，众人都若有所失，谁也没想到顶礼膜拜的“神仙”竟然是他们二位。
纪晓岚在乌鲁木齐知道了很多新鲜事。乌鲁木齐有很多狭斜的深巷，有小楼矗立其中，每天等到晚上，寺钟晚鸣的时候，总是灯火荧荧，贪欢的人在此留恋不散，在这里为所欲为，直至次日天明，这些地方方才安静下来。官府不禁，也不能禁。在纪晓岚住的地方不远，一所漂亮的房子里，住着一个姓何的宁夏布商，形象潇洒，又年轻又有钱，为人亦不太吝啬，却不喜欢做狎妓之游，只是养了十余头母猪，饲养得很肥，很干净，“日闭门而沓淫之”，猪也相摩相倚，和他非常亲近。这个姓何的商人没有发觉，他和母猪做爱的事情，他的仆人常偷偷地窥视。而他的仆人又告诉他的朋友。忽然，有一天，一个朋友喝醉酒与他开玩笑，说起这件事，何某当即羞愧难当，投井而死。要不是纪晓岚认识审这案子的人，无论如何他也不会相信。纪晓岚其诗记日：
石破天惊事有无，后来好色胜登徒。
何郎甘为风情死，才信刘郎爱媚猪。
这种人兽恋的稀罕事后来被纪晓岚记载在《阅微草堂笔记》中。
纪晓岚的这些在西域所写文字记载了西域的风物人情，其功力深厚，非他人可及，今天看来，也有一定的文学价值和史学价值。
奉旨东归
一转眼，纪晓岚在乌鲁木齐已经度过两年多时光。这天，身在乌鲁木齐的纪晓岚接到了发自京城的八百里诏书，命纪晓岚接旨后即刻东归。纪晓岚正在渴念亲人之际，一下子接到这从天而降的喜讯，立刻高兴得手舞足蹈，全然像一个十几岁的孩子。东归的车马，昼夜兼程，纪晓岚思绪万千，他感念皇恩浩荡，恩赦还京。他哀叹人生如梦，捉摸不定，他祝愿此生已经历尽磨难，否极泰来。长时间的思索使他树立了自己的人生信条和处世的原则，成为一生中又一个重要转折点。
纪晓岚在乌鲁木齐共写成一百六十余首诗，结集为《乌鲁木齐杂诗》，记录的全是边塞风情，和他的亲身经历，“追述风土，兼怀旧游”，抒发了他的思想情怀，诗风清丽，意蕴悠长。这些诗全是七言绝旬，每题一叙，诗后必附说明，诗与说明组成一个有机的结合体。在取材上，凡乌鲁木齐的山川河流、花鸟虫鱼、风土人情，以及各族人民屯田垦荒，尽上笔端，从而构成了一幅五彩斑斓的西北边陲的风物图画。全诗体现了诗人现实主义的创作精神，被后人称为清代边塞诗的代表作。
尤为可贵的是，纪晓岚以饱满的激情，讴歌了西北各族人民开发建设边疆的壮举。在他的笔下，记写了许多劳动场面，里面还真实地记述了屯田垦荒的场景，并对许多劳动人民中的能工巧匠的高超技艺，表示由衷的赞赏。