秦昭王有位丞相叫甘茂，在别国的挑拨之下，受到秦昭王怀疑，只得逃离秦国。后来，秦国仍封他为上卿（很高级的官员），并以相印迎他归国，但他至死未敢回到秦国。
秦王政继承王位的时候，甘茂的孙子甘罗都已经十二岁了。甘罗寄居在吕不韦家中，被称为“庶子”。吕不韦十分有钱，养士上千人，所以养活几个甘罗这样的孩子，又是名门之后，是不在话下的。
秦王政刚继位时，吕不韦的权力很大。当时秦统一六国的策略是“连横”，就是与六国中的远邻发展“友好”关系，以邻近之国宣战，各个击破，即采取“远交近攻”的战略。所以，秦国曾派蔡泽出使燕国三年，发展了两国关系。燕国派太子丹到秦国当人质，以表示信任和友好。后来，秦国要派张唐去燕国当丞相，以促使燕国与秦国夹攻赵国，但是张唐不愿意去。
张唐面见吕不韦说：“在昭王时代，我曾奉命攻赵，因此赵国恨我。我要到燕国去，又必须经过赵国。所以，我去不适合。”
吕不韦听了，大为不快。甘罗看出了吕不韦满脸的阴云，就问他为什么不高兴。吕不韦说：“我派蔡泽出使燕国已经三年，燕太子丹也已经来当人质。现在我派张唐去燕国当丞相，他却不肯去。”
甘罗灵机一动说：“让我去说服张唐相燕吧。”
“去！”吕不韦像平常斥责小孩子那样，没把甘罗放在眼里。“你一个毛孩子，怎么能干得成这件事！”
“项橐（tu6）七岁能给孔子当老师，”甘罗说，“我都十二岁了，您怎么不让我试试，就斥退我。”吕不韦只好答应了他。
甘罗见了张唐，问他： “您和武安君比起来，谁的功劳大？”“当然是武安君的功劳大。”“您觉得应侯和文信侯比，哪一个更专权？”“当然是文信侯啦。”
文信侯就是吕不韦。武安君是秦大将白起，曾经为秦国攻下七十多座外国城池。应侯是范雎，曾任秦相。他与白起不和。有一次，应侯同昭王商议，让白起率兵攻赵。白起称病不出。应侯便建议秦昭王，先免去了白起字职，不久又在杜邮（今陕西省咸阳市）这个地方害死了白起。
甘罗说：“将军明知功劳不如白起，而当今的文信侯又比当年的应侯更专权。当年应侯要伐赵，白起不合作，应侯就杀了他。现在，文信侯请您相燕您不去，我恐怕不知道您要死在什么地方了……”
张唐沉思着说：“这么说，我是得去……”
张唐起程之前，甘罗又向吕不韦借了五辆车，亲自去拜见赵王。他对赵王说：“您听说燕太子丹人秦了吗？”“听说了。”“您听说张唐要去相燕吗？”“听说了。”甘罗便对赵王分析说：这两件事，说明燕、秦两国没有分歧了。这样一来，他们就要联合伐赵。大王您有危险啊。我看您不如给秦国割地，让秦退回燕太子，然后让秦国联合强大的赵国去进攻弱小的燕国。
赵王听了甘罗的话，决定割五座城池给秦国，并反过来又去进攻燕国，从燕国夺取了三十六个县，并把其中的十分之一给了秦国。
小小年纪的甘罗，不费一兵一卒，为秦国立了大功。秦王政封他为上卿，并把他祖父甘茂的田宅赏给了他。