清王朝建立后，内外大臣多系满族人担任。岳钟琪以军功先后任川陕总督、甘肃提督及甘肃巡抚，以汉人承当川、陕、甘三省军政大权，自易招来忌恨。
那些倒岳的言论简单得几近幼稚：岳钟琪是汉人民族英雄岳飞的后人，恐难对清廷忠心，搞不好他要推翻清朝为汉人报仇，这种人切不可重用！
这些猜疑和诽谤，并非都是空穴来风。雍正五年（1727年），有个叫卢汉民的人突然在成都街上大喊大叫：“岳公爷带川陕兵造反了，西城门外开有黑店，要杀人！”弄得当时谣言四起，人心惶惶。当然，这个卢汉民后来很快被抓住，经严格鉴定，此人是精神病患者，有关部门最后将之从速处死了事。
“卢汉民事件”发生后，岳钟琪慌忙向朝廷引咎辞职，但雍正对此颇不以为然，他不但没有责怪岳钟琪，反让岳钟琪继续“鼓励精神，协赞朕躬，造无穷之福，以遗子孙”。
虽然雍正皇帝对岳钟琪大加抚慰，信任有加，但民间却依旧在传播岳大人和朝廷不和的流言，说什么岳大人尽忠爱民，曾对皇帝说了些不知忌讳的话，朝廷屡次召他进京，要削夺他的兵权云云。总而言之，民间都认为岳钟琪一定会在某个恰当的时机起兵造反，把满人赶回山海关外去。
雍正六年（1728年）九月的一天，西安城下了场小雨。岳钟琪从外面会客回来，正要进总督衙门，一个书生模样的年轻人突然从人群中攘臂奋出，突破了衙役的阻拦，拦住了他的轿子。
那人呈给他一封书信，封面赫然写着：“天吏元帅岳钟琪大人亲启”，岳钟琪心知准不是什么好事，但当街也不好多言，便命衙役将那人带回衙署。
而后，岳钟琪屏退左右，独自进了一个密室，小心翼翼地把信封撕拆开，然后抖抖索索地将信纸抽出，匆匆浏览了一遍。正所谓不看不知道，一看吓一跳，岳钟琪读完信后，脸色煞白，冷汗直流。原来，信里对当今皇上进行了极为恶毒的攻击，列举了雍正“谋父、逼母、弒兄、屠弟、贪财、好杀、酗酒、诛忠、好谄、任佞”的十大罪状，说雍正即位后连年灾害，民不聊生，并对雍正的继位正统提出了严重质疑；信中还说，华夷之防断不可开，满人是夷，满人皇帝不配统治汉人。既然如此，岳大人作为大英雄岳飞的后人，何不继承祖上之志，利用手握重兵的机会，振臂一呼，成就反清复明之大事业，青史留名，流芳千古，何乐而不为呢？
原来这书生不是来喊冤的，而是来策反的。岳钟琪暗暗叫苦。
他一面命人将书信迅速密报雍正，一面命人审问那个书生，问他到底是受何人指使，用意何在。那书生只说自己名叫张倬，书信乃是他的老师夏靓所写，其他的紧咬牙关，一概推说不知。
岳钟琪不敢怠慢，他绞尽脑汁，终于想出了一个顺水推舟、以假乱真的诱供之计。当夜，他把张倬从监牢中悄悄提出，一改前几次凶神恶煞的模样，而是屏退左右，亲自为张倬松绑，温言抚慰，并对他的反清复明之志大加赞赏。
张倬毕竟是个书生，一时还真被岳钟琪所感动。这才把事情和盘托出。
原来，这个书生真名叫张熙，这次是奉老师之命前来投书的。他的老师，也就是策反信上那个化名夏靓的人，真名叫曾静，是湖南郴州某地的乡村塾师。曾静原是个秀才，因为多年科举不中，所以抛弃功名，以授徒为生。曾静家徒四壁，对社会颇有不平之气。当时正好雍正刚刚登上帝位，民间多传言其为篡位，加之雍正初年用法严苛，下面的人怨声四起，反清复明似乎有可乘之机。曾静等人异想天开，以为岳钟琪乃是岳飞之后，想必忠于汉人，于是便精心鼓捣了这份书信前去策反，想成就一番千古事业，不料岳钟琪对雍正忠心耿耿，张熙反中了他的招。
岳钟琪套出张熙的供言之后，火速上报朝廷，以表忠心。雍正大怒，大兴文字狱，株连无数，连死去的学者吕留良也被开棺戮尸。这就是著名的“曾静案”。
岳钟琪出了一身冷汗，连忙向雍正请罪。雍正反倒褒奖岳钟琪忠，并出于军事需要，仍委以重任，封他以宁远大将军、加少保，责令进击准噶尔部的叛乱，但在内心已开始萌发疑心。
终于在三年后，即雍正九年（1731年），借口进击准噶尔部的某些失利，以“误国负恩”加以免官拘禁。
大臣们的忌恨，得以乘机宣泄、落井下石。大学士鄂尔泰等参劾岳钟琪“专制边疆，智不能料敌，勇不能歼敌”。张广泗参劾他“调兵筹饷，统驭将士种种失宜”。
雍正十一年（1733年），大将军查郎阿又论岳钟琪“骄蹇不法”，且参劾其部属纪成斌、张元佐疏防，上奏斩成斌、降调元佐。又劾曹襄力纵贼，上命斩襄力。从另一个角度看，曾护大将军印的纪成斌、总兵曹襄力，都是曾屡立战功的悍将，终因三年前科舍图之役的一次失利，一个以“疏防”、一个以“战败”而处斩。而在这种情况下，雍正皇帝在大学士们“奏拟岳钟琪斩决”的折子上，改签“监斩候”（即死刑，缓期执行），足见其“笔下留情”与“笔下留人”了，正因为如此，才没有在历史上铸就又一个岳飞。
雍正过世后，乾隆继位，第二年即乾隆二年（1737年），51岁的岳钟琪在经历了5年的牢狱监禁后，被释放，又过了10年的平民百姓生活，一直到乾隆十三年（1748年），国家因用兵大金川，久无功时，这才想起了当年立下汗马功劳、现已被贬为平民的岳钟琪。
乾隆十三年（1748年）三月，乾隆皇帝决定重新起用岳钟琪，授其总兵衔，召其至军中，改授四川提督，赐孔雀翎。
岳钟琪回到了军中，开始了出征大金川的军事行动。他与大学士傅恒合作，部署适当，先以35000人破敌，示之以威，敌酋请降，后岳钟琪又以惊人的胆略，亲带13骑入敌巢，降敌。旷日持久的大金川事态平息。这时的岳钟琪已经62岁了，但他老当益壮，不减当年，再现了24年前他38岁平西藏、定青海时的风采。乾隆皇帝谕奖岳钟琪，加岳钟琪太子少保，复封三等公，赐号“威信”，允许他在紫禁城骑马，加封岳钟琪两个儿子为侍卫。
康熙十九年（1754年），重庆发生叛乱，岳钟琪亲往捕治。平叛凯旋途中，将星陨落，病逝于资州。他鞠躬尽瘁，时年68岁。乾隆皇帝手谕褒勉，赐祭葬，谥岳钟琪“襄勤”。