汲黯字长孺，濮阳县人。他的祖先曾受古卫国国君恩宠。到他已是第七代，代代都在朝中荣任卿、大夫之职。靠父亲保举，孝景帝时汲黯当了太子洗马，因为人严正而被人敬畏。景帝死后，太子继位，任命他做谒者之官。
东越的闽越人和瓯越人发生攻战，皇上派汲黯前往视察。他未到达东越，行至吴县便折返而归，禀报说：“东越人相攻，是当地民俗本来就如此好斗，不值得烦劳天子的使臣去过问。”
河内郡发生了火灾，绵延烧及一千余户人家，皇上又派汲黯去视察。他回来报告说：“那里普通人家不慎失火，由于住房密集，火势便蔓延开去，不必多忧。我路过河南郡时，眼见当地贫民饱受水旱灾害之苦，灾民多达万余家，有的竟至于父子相食，我就趁便凭所持的符节，下令发放了河南郡官仓的储粮，赈济当地灾民。现在我请求缴还符节，承受假传圣旨的罪责。”皇上认为汲黯贤良，免他无罪，调任为荥阳县令。汲黯认为当县令耻辱，便称病辞官还乡。皇上闻讯，召汲黯朝任中大夫。由于屡次向皇上直言谏诤，他仍不得久留朝中，被外放当了东海郡太守。
汲黯崇仰道家学说，治理官府和处理民事，喜好清静少事，把事情都交托自己挑选出的得力的郡丞和书史去办。他治理郡务，不过是督查下属按大原则行事罢了，并不苛求小节。他体弱多病，经常躺在卧室内休息不出门。一年多的时间，东海郡便十分清明太平，人们都很称赞他。皇上得知后，召汲黯回京任主爵都尉，比照九卿的待遇。他为政力求无为而治，弘其大要而不拘守法令条文。
汲黯与人相处很傲慢，不讲究礼数，当面顶撞人，容不得别人的过错。与自己心性相投的，他就亲近友善；与自己合不来的，就不耐烦相见，士人也因此不愿依附他。但是汲黯好学，又好仗义行侠，很注重志气节操。他平日居家，品行美好纯正；入朝，喜欢直言劝谏，屡次触犯皇上的面子，时常仰慕傅柏和袁盎的为人。他与灌夫、郑当时和宗正刘弃交好。他们也因为多次直谏而不得久居其官位。
就在汲黯任主爵都尉而位列九卿的时候，王太后的弟弟武安侯田蚡做了宰相。年俸中二千石的高官来谒见时都行跪拜之礼，田蚡竟然不予还礼。
而汲黯求见田蚡时从不下拜，经常向他拱手作揖完事。这时皇上正在招揽文学之士和崇奉儒学的儒生，说我想要如何如何，汲黯便答道：“陛下心里欲望很多，只在表面上施行仁义，怎么能真正仿效唐尧虞舜的政绩呢！”皇上沉默不语，心中恼怒，脸一变就罢朝了，公卿大臣都为汲黯惊恐担心。皇上退朝后，对身边的近臣说：“太过分了，汲黯太愚直！”群臣中有人责怪汲黯，汲黯说：“天子设置公卿百官这些辅佐之臣，难道是让他们一味屈从取容，阿谀奉迎，将君主陷于违背正道的窘境吗？何况我已身居九卿之位，纵然爱惜自己的生命，但要是损害了朝廷大事，那可怎么办！”
汲黯多病，而且已抱病三月之久，皇上多次恩准他休假养病，他的病体却始终不愈。最后一次病得很厉害，庄助替他请假，皇上问道：“汲黯这个人怎么样？”庄助说：“让汲黯当官执事，没有过人之处。然而他能辅佐年少的君主，坚守已成的事业，以利诱之他不会来，以威驱之他不会去，即使有人自称像孟贲、夏育一样勇武非常，也不能撼夺他的志节。”皇上说：“是的。古代有所谓安邦保国的忠臣，像汲黯就很近似他们了。”
大将军卫青入宫侍中，皇上曾踞坐在床侧接见他。丞相公孙弘平时有事求见，皇上有时连帽子也不戴。至于汲黯进见，皇上不戴好帽子是不会接见他的。皇上曾经坐在威严的武帐中，适逢汲黯前来启奏公事，皇上没戴帽，望见他就连忙躲避到帐内，派近侍代为批准他的奏议。汲黯被皇上尊敬礼遇到了这种程度。
张汤刚以更改制定刑律法令做了廷尉，汲黯就曾多次在皇上面前质问指责张汤，说：“你身为正卿，却对上不能弘扬先帝的功业，对下不能遏止天下人的邪恶欲念。安国富民，使监狱空无罪犯，这两方面你都一事无成。相反，错事你竭力去做，大肆破坏律令，以成就自己的事业，尤为甚者，你怎么竟敢把高祖皇帝定下的规章制度也乱改一气呢？你这样做会断子绝孙的。”汲黯时常和张汤争辩，张汤辩论起来，总爱故意深究条文，苛求细节。汲黯则出言刚直严肃，志气昂奋，不肯屈服，他怒不可遏地骂张汤说：“天下人都说绝不能让刀笔之吏身居公卿之位，果真如此。如果非依张汤之法行事不可，必令天下人恐惧得双足并拢站立而不敢迈步，眼睛也不敢正视了！”
这时，汉朝正在征讨匈奴，招抚各地少数民族。汲黯力求国家少事，常借向皇上进言的机会建议与胡人和亲，不要兴兵打仗。皇上正倾心于儒家学说，尊用公孙弘，对此不以为意。及至国内事端纷起，下层官吏和不法之民都弄巧逞志以逃避法网，皇上这才要分条别律，严明法纪，张汤等人也便不断进奏所审判的要案，以此博取皇上的宠幸。而汲黯常常诋毁儒学，当面抨击公孙弘之流内怀奸诈而外逞智巧，以此阿谀主上取得欢心；刀笔吏专门苛究深抠法律条文，巧言加以诋毁，构陷他人有罪，使事实真相不得昭示，并把胜狱作为邀功的资本，于是皇上越发地倚重公孙弘和张汤，公孙弘、张汤则深恨汲黯，就连皇上也不喜欢他，想借故杀死他。公孙弘做了丞相，向皇上建议说：“右内史管界内多有达官贵人和皇室宗亲居住，很难管理，不是素来有声望的大臣不能当此重任，请调任汲黯为右内史。”汲黯当了几年右内史，任中政事井井有条，从未废弛荒疏过。
大将军卫青已经越发地尊贵了，他的姐姐卫子夫做了皇后，但是汲黯仍与他行平等之礼。有人劝汲黯说：“从天子那里就想让群臣居于大将军之下，大将军如今受到皇帝的尊敬和器重，地位更加显贵，你不可不行跪拜之礼。”汲黯答道：“因为大将军有拱手行礼的客人，就反倒使他不受敬重了吗？”卫青听到他这么说，更加认为汲黯贤良，多次向他请教国家与朝中的疑难之事，看待他胜过平素所结交的人。
淮南王刘安阴谋反叛，畏惧汲黯，说：“汲黯爱直言相谏，固守志节而宁愿为正义捐躯，很难用不正当的事情诱惑他。至于游说丞相公孙弘，就像揭掉盖东西的蒙布或者把快落的树叶震掉那么容易了。”
汉武帝已经多次征讨匈奴大获战绩，汲黯主张与胡人和亲而不必兴兵征讨的话，他就更加听不进去了。当初汲黯享受九卿待遇时，公孙弘、张汤不过还是一般小吏而已。等到公孙弘、张汤日渐显贵，和汲黯官位相当时，汲黯又责难诋毁他们。不久，公孙弘升为丞相，封为平津侯；张汤官至御史大夫；昔日汲黯手下的郡丞、书史也都和汲黯同级了，有的被重用，地位甚至还超过了他。汲黯心窄性躁，不可能没有一点儿怨言，朝见皇上时，他走上前说道：“陛下使用群臣就像堆柴禾一样，后来的堆在上面。”皇上沉默不语。一会儿汲黯退了下去，皇上说：“一个人确实不可以没有学识，看汲黯这番话，他的愚直越来越严重了。”
时隔不久，匈奴浑邪王率部众降汉，朝廷征发两万车辆前去接运。官府无钱，便向百姓借马。有的人把马藏起来，马无法凑齐。皇上大怒，要杀长安县令。汲黯说：“长安县令没有罪，只要杀了我，百姓就肯献出马匹了。况且匈奴将领背叛他们的君主来投降汉朝，朝廷可以慢慢地让沿途各县准备车马把他们顺序接运过来，何至于让全国骚扰不安，使我国人疲于奔命地去侍奉那些匈奴的降兵降将呢！”皇上沉默无言。及待浑邪王率部到来，商人因与匈奴人做买卖，被判处死罪的有五百多人。汲黯请得被接见的机会，在未央宫的高门殿见到了皇上，他说：“匈奴攻打我们设在往来要路上的关塞，断绝和亲的友好关系，我国发兵征讨他们，战死疆场与负伤的人数不胜数，而且耗费了数以百亿计的巨资。臣我愚蠢，以为陛下抓获匈奴人，会把他们都作为奴婢赏给从军而死的家属，并将掳获的财物也就便送给他们，以此告谢天下人付出的辛劳，满足百姓的心愿。这一点现在即使做不到，浑邪王率领几万部众前来归降，也不该倾尽官家府库的财物赏赐他们，征调老实本分的百姓去伺候他们，把他们捧得如同宠儿一般。无知的百姓哪里懂得让匈奴人购买长安城中的货物，就会被死抠法律条文的执法官视为将财物非法走私出关而判罪呢？陛下纵然不能缴获匈奴的物资来慰劳天下人，又要用苛严的法令杀戮五百多无知的老百姓，这就是所谓‘保护树叶而损害树枝’的做法，我私下认为陛下此举是不可取的。”皇上沉默，不予赞同，而后说：“我很久没听到汲黯的话了，今日他又一次信口胡说了。”事后数月，汲黯因犯小法被判罪，适逢皇上大赦，他仅遭免官。于是汲黯归隐于田园。
过了几年，遇上国家改铸五铢钱，老百姓很多人私铸钱币，楚地尤其严重。皇上认为淮阳郡是通往楚地的交通要道，就征召汲黯任他为淮阳郡太守。汲黯拜伏于地辞谢圣旨，不肯接印，皇上屡下诏令强迫给他，他才领命。皇上下诏召见汲黯，汲黯哭着对皇上说：“我自以为死后尸骨将被弃置沟壑，再也见不到陛下了，想不到陛下又收纳任用我。我常有狗病马病的，体力难以胜任太守之职的烦劳。我希望当中郎，出入宫禁之门，为您纠正过失，补救缺漏。这就是我的愿望。”皇上说：“你看不上淮阳郡太守这个职位吗？过些时候我会召你回来的。只因淮阳地方官民关系紧张，我只好借助你的威望，请你躺在家中去治理吧。”汲黯向皇上告别后，又去探望大行令李息，他说：“我被弃置于外郡，不能参与朝廷的议政了。可是，御史大夫张汤他的智巧足以阻挠他人的批评，奸诈足以文饰自己的过失，他专用机巧谄媚之语，强辩挑剔之词，不肯常常正正地替天下人说话，而一心去迎合主上的心思。皇上不想要的，他就顺其心意诋毁；皇上想要的，他就跟着夸赞。他喜欢无事生非，搬弄法令条文，在朝中他深怀奸诈以逢迎皇上的旨意，在朝外挟制为害社会的官吏来加强自己的威势。您位居九卿，若不及早向皇上进言，您和他都会被诛杀的。”李息害怕张汤，始终不敢向皇上进谏。汲黯治理郡务，一如往昔作风，淮阳郡政治清明起来。后来，张汤果然身败名裂。皇上得知汲黯当初对李息说的那番话后，判李息有罪，诏令汲黯享受诸侯国相的俸禄待遇，依旧掌管淮阳郡。七年后汲黯逝世。
汲黯死后，皇上因为汲黯的关系，让他的弟弟汲仁官至九卿，儿子汲偃官至诸侯国相。汲黯姑母的儿子司马安年轻时也与汲黯同为太子洗马，他擅长玩弄法律条文，巧于为官，其官位四次做到九卿，在河南郡太守任上去世。他的弟兄们由于他的缘故，同时官至二千石职位的计十人。濮阳人段宏起初侍奉盖侯王信，王信保举段宏，段宏也两次官至九卿。但是濮阳同乡做官的人都很敬畏汲黯，甘居其下。