张汤之所以在这里被称作汉朝的第一酷吏，并不是说他的凶残和冷酷足以当此第一，而是因为他的影响在汉朝酷吏中是最大的，他所处的时代是汉武帝执政时期，也是大汉朝最为辉煌和成功的时期，张汤作为武帝时期的重要官员，其作为酷史的影响是深远的。
张汤的父亲是长安县丞，有一次要出门家里没有人看家，张汤当时还是小孩，父亲就让他在家看门。父亲回家后，看到老鼠偷了肉，就认为是张汤的错，于是发怒用鞭子打了他。被父亲打后，张汤却掘开鼠洞，找到偷肉的老鼠和没吃完的肉，举告老鼠的罪行，加以拷打审问，记录审问过程，虽然明知老鼠不会说话，他却反复审问，还有模有样地把判决的罪状报告上级，当堂最后定案，把老鼠分尸处死。他的父亲看到这个情景，又看到那判决辞就像老练的法官所写，特别惊讶，认为儿子有这方面的天赋，于是就开始让张汤学习断案的文书。父亲死后，张汤就接替了他父亲的职位，做了很长一段时间的长安官员。
周阳侯田胜在开始做九卿之官时，曾经因犯罪被拘禁在长安，当时张汤尽其全力对他加以保护。后来田胜出狱封侯后，与张汤密切交往，并把当朝权贵一一介绍给张汤，让张汤同他们相识。因为田胜的关系，张汤开始在内史任职，做宁成的属官，因为张汤才华无比，宁成就向上级官府推荐，被调升为茂陵尉，主持陵墓土建工程，并且把这件事做得很不错。
当时，武安侯田蚡当了丞相，就征召张汤做内史，并且经常向天子推荐他，于是就被任命为御史，处理案件。他主持处理陈皇后巫蛊案件时，深入追究同党，一个都不放过，把这件案子处理得让皇上很高兴。于是汉武帝认为他有办事能力，逐步提拔他当了太中大夫。他与赵禹一起制定各种苛刻严峻的法律条文，约束在职的官吏。不久，赵禹被提升为中尉，后又改任少府，而张汤当了廷尉，两人很友好地交往，张汤以对待兄长的礼节对待赵禹。赵禹是个为人廉洁傲慢的人，当官以来，家中没有食客。即使有三公九卿前来拜访，他也始终不回访答谢，务求断绝与知心朋友和宾客的来往，独自一心一意地处理自己的公务。他看到法令条文就取来，也不去复查，以求追究从属官员的隐秘和罪过。而张汤为人多诈，善施智谋控制别人。他开始当小官时，就喜欢以权自谋私利，曾与长安富商田甲、鱼翁叔之流勾结。待到了九卿之官时，便结交天下名士大夫，自己内心虽然同他们不合，但表面却装出仰慕他们的样子。所以，赵禹与张汤虽然性格不合，但两同朝为官，并且都是喜欢执行暴行和酷刑的官员，再加上他们要相互配合办案，所以他们才会和睦相处。
当时，汉武帝向心儒家学说，为了投其所好，张汤在判决大案时，就想附会儒家观点，因此就请那些博士弟子们研究《尚书》、《春秋》，他自己则担任廷尉史，请他们评判法律的可疑之处。每次上报判决的疑难案件，都预先给皇上分析事情的原委，皇上认为对的，就接受并记录下来，作为判案的法规，以廷尉的名义加以公布，颂扬皇上的圣明。反之，如果奏事遭到谴责，张汤就认错谢罪，顺着皇上的心意，并且一定会举出正、左右监和贤能的属吏，说：“他们本来向我提议过，就像皇上责备我的那样，我没采纳，愚蠢到这种地步。”因此，他的罪常被皇上宽恕不究。他有时向皇上呈上奏章，皇上认为好，他就说：“臣我不知道写这奏章，是正、左右监、椽史中某某人写的。”当他想推荐某个官吏，或者想表扬某人的好处，或者是掩蔽某人的过失时，他也常常这样做。他所处理的案件，如果是皇上想要加罪的，他就交给执法严酷的监史去办理；如果是皇上想宽恕的，他就交给执法轻而公平的监史去办理。他所处理的如果是豪强，则一定要玩弄法律条文，巧妙地进行诬陷。如果是平民百姓和瘦弱的人，则常常用口向皇上陈述，虽然按法律条文应当判刑，但他往往会请皇上明察裁定。于是，皇上往往就宽释了张汤所说的人。张汤虽做了大官，但有着很好的自身修养，经常与宾客交往，同他们喝酒吃饭，对于老朋友当官的子弟以及贫穷的兄弟们，也都很照顾。他拜问三公的时候，常常是不避寒暑办公。所以张汤虽然执法严酷，内心嫉妒，处事不纯正公平，却落得个好名声。那些执法酷烈刻毒的官吏都被他用为属吏，又都依从于儒学之士。丞相公孙弘屡次称赞他的美德。他处理淮南王、衡山王、江都王谋反的案件时，也都能穷追到底，严格执法，不徇私情。严助和伍被，本来是皇上想宽恕的人，张汤却争辩说：“伍被本来是策划谋反的人，严助是皇上亲近宠幸的人，是出入宫廷禁门的护卫之臣，竟然这样私交诸侯，如不杀他，以后就不好管理臣下了。”于是，皇上同意了张汤对他们的判决。由此，张汤更加受到皇上的尊宠和信任，被提升为御史大夫，官职越来越高。
后来，汉朝出动大军讨伐匈奴的时候，山东遇到水涝和干旱的灾害，贫苦百姓流离失所，都依靠政府供应衣食，政府因此仓库空虚。于是张汤按照皇上的旨意，请铸造银钱和五铢钱，垄断天下的盐铁经营权，为朝廷谋利，同时还打击富商大贾，发布告缉令，铲除豪强兼并之家的势力，玩弄法律条文，巧言诬陷，来辅助法律的推行。张汤每次上朝奏事，谈论国家的财用情况，往往一直谈到傍晚，连天子也忘记了吃饭时间。张汤虽然不是丞相，但所做的事往往是丞相才能做的，于是丞相就成了空职，天天无事可做，空占相位，天下的事情都取决于张汤。张汤的这种行为，使得百姓不能安心生活，骚动不宁，政府兴办的事，得不到利益，而奸官污吏却一起侵夺盗窃，从三公九卿以下，直到平民百姓，都指责张汤。但皇上对这些言论却并不在意，还是一味的重用张汤。有一次张汤生病，天子还亲自前去看望他，可想他在皇上心中的地位达到了什么程度。
匈奴与汉的战争失败后，匈奴就来汉朝请求和亲，群臣都到天子跟前议论此事。博士狄山说：“和亲有利。”皇上问他有利在何处？狄山说：“武器是凶险的东西，不可以屡次动用。高帝想讨伐匈奴，被围在平城，就和匈奴结成和亲之好。孝惠、高后时期，天下安定快乐。待到孝文帝时，想征讨匈奴，结果北方骚扰不安、百姓苦于战争。孝景帝时，吴、楚七国叛乱，景帝往来于未央宫和长乐宫之间，忧心了几个月，吴楚七国叛乱平定后，直到景帝去世不再谈论战争，天下却富裕殷实。如今自从陛下发兵攻打匈奴，国内因此而财用空虚，边境百姓极为困苦，浪费了大量的人力、物力和财力。由此可见，用兵不如和亲。”皇上又问张汤，张汤说：“这是愚蠢的儒生，无知。”狄山说：“我固然是愚忠，像御史大夫张汤却是诈忠。别的不说，就说他处理淮南王和江都王的案子吧，用严酷的刑法，放肆地诋毁诸侯，离间骨肉之间的亲情，使各封国之臣自感不安。”听了狄山的话，皇上变了脸色，说：“我派你驻守一个郡，你能不让匈奴进京来抢掠吗？”狄山说：“不能。”皇上说：“驻守一个县呢？”狄山回答说：“不能。”皇上又说：“驻守一个边境城堡呢？”狄山想，如果辩论到自己无话可答的地步，皇上就会把自己交给法官治罪，因此说：“能。”于是皇上就派遣狄山登上边塞城堡。过了一个多月，匈奴斩下狄山的头就离开了。从此以后，群臣震惊恐惧，再也没有人敢提和亲的事了。
在御史大夫这一职位上，张汤做了七年，后来还是失败了，因为他得罪了太多的人，所以许多人都想借机报复。