1883年8月8日，在日本冈山县的一个武士之家，降生了一个男孩。男孩的父亲给他起名土肥原贤二。
土肥原贤二的父亲土肥良永是一名陆军少佐，兄长土肥原鉴被授予日本陆军少将军衔。在这样的家庭环境下，土肥原从小受日本武士道和军国主义精神的熏陶，幼小的心灵里就埋下了为天皇献身的种子。
20岁那年，军人出身的父亲为了让儿子继承父业，把土肥原送进了日本陆军士官学校。土肥原成为陆军士官学校第十六期生。
日本陆军士官学校曾为日本培养出无数侵略战争的“精英”。在这里，土肥原与后来侵华战争期间的元凶冈村宁次和板垣征四郎成为同窗好友。
1904年，土肥原毕业于陆军士官学校，被授予陆军少尉军衔，供职于高崎步兵第十五联队。
这一年正是日俄在中国东北打得难分难解之际，土肥原积极要求参战。在战场上，土肥原十分卖命，因此，战争一结束，就被送进了日本高级军官的摇篮——陆军大学深造。
1912年，土肥原从陆军大学毕业，任职于参谋本部，然后调到步兵第三十三联队任联队长。
第二年，土肥原被坂西利八郎看中，选调到中国担任坂西利八郎的辅佐官。远在中国的坂西利八郎之所以看中土肥原，是因为土肥原在陆军士官学校和陆军大学学习期间，潜心钻研中国问题，早已名声在外。
这是土肥原渴望已久的职务。土肥原刚刚步入军中就已在作战中显示出自己的才能，尽管如此，他觉得最富有挑战性的工作却不在于军事本身，而是谋略工作。他如愿以偿地找到了最适合自己的用武之地。他十分感谢坂西利八郎。上任伊始，土肥原跟随着坂西利八郎来往穿梭于中国北方各系军阀之间，与许多军阀和政界要人建立起了微妙的个人关系。
在与中国上层人物打交道的同时，他还利用职务之便到中国各地旅行，了解中国的政治、历史和风土人情。每到一地，他常常穿一身中国式的长袍马褂，走街串巷混迹于三教九流之中，这为他以后收买利用流氓、土匪打下了基础。
为了搞好特务活动，土肥原下苦功学习中国语言，他不仅能够说一口流利的中国话，而且还学会了中国许多地方的方言。土肥原成为当时日本陆军中公认的“四大中国通”之一。从此，土肥原开始了他在中国长达30年的间谍生涯。
1923年，在北京王府井附近锡拉胡同深处的一座深宅大院中，朱漆大门常年紧闭不开，甚为神秘。这就是有名的日本特务机关坂西公馆。
所谓坂西公馆，是北洋政府聘请的最高军事顾问坂西利八郎公馆的简称。坂西利八郎从1904年就开始在北京活动，当时他还是陆军少佐军衔，至1927年被调回国的这段时间里，他在北京的活动使坂西公馆名扬四方，坂西公馆也成为日本在中国最大的特务机关。
作为日本陆军参谋本部派遣来华从事间谍活动的第二代特务头目，坂西利八郎为日本培养了大批从事对华间谍活动的特务。土肥原、坂垣征四郎、多田骏、岩松义雄等人都出自他的门下。
绿荫下一张长条桌旁，坐着几个着便装的日本军人。坂西公馆的主人坂西利八郎和他的两个副官正在探讨对华方策。
这两个副官，一个是后来的战争狂人——曾任日本华北方面军司令官的多田骏，一个就是已初露间谍锋芒的土肥原。
土肥原先作扼要说明：“要想把英美在华北的势力挤走，必须打败直系军阀新首领吴佩孚。眼下，奉系军阀——靠日本人扶植起来的张作霖在大战之后尚未恢复元气，无再度挥戈入关的实力；皖系军阀势单力薄，尚构不成对吴佩孚的威胁；广东的孙中山虽在共产党帮助下改组了国民党，并在俄国人的辅佐下筹建黄埔军校，可他的后方还有一最大的隐患陈炯明，一时也难以出兵北伐。在这种情势之下，为了早日击溃称雄中原的吴佩孚，必须首先促成张、段、孙大三角联盟。坂西机关的工作重心，便是促使其内外结合，摧毁直系军阀吴佩孚的军事实力。”
“不过，”土肥原突然话锋一转，道出了他的新想法。
“击败吴佩孚指日可待，但把华北作为我日本帝国拓展大业的基础，其实现之日还为时尚早。且不说有着五千年悠久文明的中国人不答应，英美各西方列国也不会允许我大日本帝国在华北建立霸业。我们的前辈川岛先生、头山满先生均失败于此。我以为，应先把已有一定基础的东三省建为牢固的基地，嗣后才可向华北拓展。”
坂西立即追问下去：“目前，土肥原君认为帝国对奉系的谋略重心应该是……”
“继续壮大奉系的实力，直至打败直系吴佩孚为止。”土肥原一板一眼地说道，眼睛里射出了几束凶光，让人不寒而栗。
“好！好！”坂西晃着满是白头发的脑袋，说道，“我最寄厚望的，莫过于你们两位了。我大日本帝国的兴盛大业，就落在你们肩上了。土肥原君，为了实现你的计划，参谋本部想请你出任张作霖的顾问；多田君，派你去驻华使馆处工作，你们两位有什么意见吗？”
“听从将军的安排！”两人挺直了腰，一齐回答。从此，土肥原脱离了坂西机关，开始独立从事间谍活动，但是他并没有如愿做上张作霖的军事顾问。张作霖身边的首席私人顾问町野武马，极力反对张作霖收留土肥原这个关东军的骨干分子，町野本人则处处以日本帝国政府代言人自居。町野私下多次挑拨张作霖与土肥原的关系，说土肥原是个十分跋扈的人，与他合作，于事无益。张作霖听信了町野的话，向日本当局提出异议，要求更换军事顾问。最后，另一个分化老手本庄繁代替了土肥原。土肥原的第一步棋落空了，然而他不死心。1925年，此时的张作霖踌躇满志，春风得意，仿佛中国马上就是他一个人的了。因为此时直系军阀曹锟、吴佩孚已被他打败，而冯玉祥势力又弱，天下势力最强的也莫过他张作霖了。
奉军所到之处横行不法，为所欲为，激起了广大群众的激愤，也引起了其他军阀的不满。1925年下半年，各派军阀掀起了一场全国规模的反奉运动。正在这个节骨眼上，奉系军阀内部又发生了郭松龄倒戈反奉事件。
郭松龄手握奉军精锐部队，他的反戈一击，使张作霖惊恐万状。
1925年11月30日，张作霖发出对郭松龄的讨伐电，声称郭松龄与左派联合行动，“欲使中国赤化”，并以80万元悬赏郭的头颅。同时，为了延缓郭松龄的行动，他又将杨宇霆免职，并请驻奉日本总领事内田转达郭松龄，说要他和平交出军权。
郭松龄没有中张作霖的缓兵之计，全力进军。不久，取得连山战役的重大胜利。
12月5日，郭军占领了锦州。奉军继续溃败。
在这种情况下，在东北有着巨大利益的日本的态度就至关重要了。张作霖已摇摇欲坠，他的地位是否保得住，郭松龄的倒戈能否成功，一切全系于日本的态度。
张作霖深知这一点。他暗中派杨宇霆到大连勾结日本关东军。郭松龄也深知这一点。12月1日，他致电日本公使芳泽，声明“凡两国条约上的权利，一律尊重”，要求日本“严守中立”。但他同时指出：“在本军举事之后，抵奉以前的军事时期，东省政府或张氏个人与外人所订新契约，均不能承认有效。”土肥原更是深知其中的利害关系。这件事发生在东北，已经引起了人心浮动，如果造成进一步的动乱，将直接威胁日本的权益。以前日本人扶植张作霖建立起来的奉系军队，很有可能成为互不相让的若干支扰乱社会治安的部队。要知道，日本在满洲，可是住着数十万侨民，经营着以满铁为代表的各种事业，投资数额巨大。他更担心的是，郭松龄很可能与俄国人有联系。这种担心不能说没有一点理由。当时日本人在满洲最担心的就是苏联的势力，而与郭松龄结盟的冯玉祥与苏联关系密切早已不是什么秘密了。如果苏联此时与郭松龄策应，乘此机会，侵略北满，那后果就不堪设想了。土肥原曾遭到过张作霖拒绝他做军事顾问的冷遇，说心里话，他对张作霖也不十分感冒。但是日本在东北的巨大利益，容不得他把个人好恶掺杂进去，他要做的是对日本帝国的利益负责。他决定亲自出马，到张作霖府上走一趟。张作霖一改往日盛气凌人的口气，叹了一口说：“我平日对部属疏于管教，才落得今日这般结局，这也是我自己一手酿成的，怨不得别人。
但目前形势紧急，仅凭我一人的力量实难控制局面。现在省城空虚，虽已电告吉、黑军队前来助援，但恐远水解不了近渴。如果郭军逼近省城，我想去旅顺暂避，届时还望关东军给予方便。”
土肥原说：“阁下想去旅顺暂住，我们非常欢迎，届时，定当提供一切方便，保护阁下安全，这一点请您放心。大帅一向对日本亲善友好，这是有目共睹的。现在大帅遭遇到了前所未有的困难，我们日本方面也看在眼里，急在心里。只是因为这是贵国内部事务，我们不便出面干涉。”
张作霖心中一阵狂喜，听土肥原的意思，日本似乎要介入这件事，而且立场好像对他张作霖有利。于是他进一步探听土肥原的意思。
“关于日本方面可能在多大程度上介入此事，我想听听土肥原君的个人意见。”
“根据目前日中所签订的条约规定，中国军队不得在南满铁路附近作战，条约并规定必要时，关东军还可以出兵阻击。这样，郭松龄的军队是无法进入省城的。”
张作霖知道，关东军是不会轻易作出这种承诺的，一定会附带条件。可是，在目前这种情况下，张作霖除了依靠日本人以外，已别无他途。
他咬了咬牙，说道：“土肥原君，当前，郭松龄太过猖狂，已遭到全体东北人民的反对，只要能把郭松龄赶出东北，有利于东北人民，也有利于保持住日本国在满洲的利益，我想只有这样一种办法了。”
土肥原知道张作霖上钩了，他慢条斯理地说：“如果阁下认为可行，那么，我方将警告郭军不得在满铁线20公里内落下一枚炮弹，必要时，日本关东军还可出兵保护您，并担负维持奉天省城的治安。这份文件请您过目。”
说罢，拿出了一份早已准备好的文件，文件中提出了五项要求：
一是日本臣民在东三省和东部内蒙古均享有商租权；二是间岛地区即延边地区，行政权的移让；三是吉敦铁路即吉林到敦化铁路延长，并与图们江以东的朝鲜铁路接轨和联运；四是洮昌道即奉省西北部一带所属各县准许日本开设领事馆；五是以上详细实施办法，另由中日外交机关共同协商决定。
张作霖看了看这份文件，略加思索，就满口答应，随即在土肥原准备的草约上签了字。张作霖又说：“万一我去旅顺时，需要相当数目的日本金票，而现在我不能让官银号在市面上买，希望日本银行暂借一部分。”土肥原想了想，说：“这一点不存在问题，我通过国内迅速与朝鲜银行奉天支行行长联系一下。”土肥原威逼利诱张作霖答应日方提出的条件之后，剩下的工作就交由关东军方面出面了。日张密约签订后，日本内阁立即作出决议，令关东军“速施警告，将驻屯军作适当配置”。
1925年12月24日，在日张军队的联合夹击下，郭松龄部溃败。郭松龄与夫人被张作霖部下抓住，并按张作霖的意见当场枪毙。张作霖指使部下将郭的肠肚挖出，去祭他的“阵亡将士”，然后将郭暴尸三天。
土肥原将即将溃败的张作霖扶持起来，张作霖不禁对土肥刮目相看。令郭松龄始料不及的是，他的反叛不仅没能扳倒张作霖，还将张作霖更进一步地推向了日本人——明确地说就是土肥原的怀抱。