26岁时，洛克菲勒在克利夫兰金融界里已享有很高的威望。洛克菲勒接管商行以后，把它改名为洛克菲勒--安德鲁斯公司。当时正值石油业走向繁荣时期，克利夫兰正走向繁荣富裕，此外美国南北战争所带来的商业繁荣，使“百万富翁”这个新词即将进入美国人的词汇。这时的洛克菲勒--安德鲁斯公司是克利夫兰最大的一家炼油企业，日产量两倍于其最强的竞争者。1865年的总收入达100万美元，次年又上升到200万美元。
洛克菲勒是有眼力的，在这当儿，只有扩大而不是缩小才是成功之道。他对于这个企业的未来以及他个人的前途充满信心。他说服他的弟弟威廉加入，并派他去纽约经营石油出口贸易，其数量占到克利夫兰石油销售额的2／3。
正当别的强者贵族们同他们的情妇们恣意玩乐或欣赏从欧洲掠夺来的艺术品，洛克菲勒却像一个麻木不仁而又刻板的人，这只是因为他不是把自己的热情和才智倾注到享乐中，而是倾注到工作中了。
为了提高自己的地位，洛克菲勒借了很多的钱，于1865年和1866年间在克利夫兰和匹兹堡分别买下了50和80个炼油厂。洛克菲勒的各炼油厂是该行业中最现代化和最有效率的，这使他获得了成本上的重要优势。他的巨大产量使他与铁路方面保持了良好的关系，他实际上控制了克利夫兰终点站。他凭借这种强有力的地位，能够从当地银行借到资金，但他宁愿通过证券交易控制商行，而不愿直接购买商行。一些竞争对手称他们是被强迫出售的。但证据表明，如果说洛克菲勒没出高价进行交易韵话，那么可以说他开的价是合理的，对于许多接近破产的炼油厂来说特别如此。
许多炼油厂在内战后的萧条时期破产，但有一些却与洛克菲勒发生了剧烈竞争，为实现更大的经济实惠并因此而使自己的产品售价比别人的低，他采取了几个步骤以实现过程一体化的目标。他买下预备林场，制桶，建仓库，掌握车队。另外，他改组了公司，于1867年与企业家亨利·弗拉格勒和塞缪尔·安德鲁斯形成了伙伴关系。
享利·M·弗拉格勒长得一表人材，相貌堂堂，一头波浪黑发，蓄着海象式的胡子，遮没了整个嘴巴。他几年前就来过克利夫兰，想向洛克菲勒租赁房屋，以开办经营谷物的商行。弗拉格勒曾经和联邦政府军队订合同筹办过军粮和其他物资，从而牟取了暴利；但以后在初创的盐业上进行投资，亏损很大，于是大笔财产得而复失，竟沦为破产者。然而现在他又碰上了难得的良机：他攀了一门好亲，娶了威士忌酒业巨商斯蒂芬·V·哈克尼斯的女儿，不但为公司招揽了6万美元的投资，而且还从他岳父那里搞到9万美元的流动资金。
他的加盟使洛克菲勒的实力大大的加强。他是洛克菲勒在业务上或业务以外不多的几个真心朋友之一。他们两人同在一间办公室工作。不久，他们都把家迁到尤克利德大街。两家相隔只有几条马路。他们两人一起上伊利街礼会教堂做礼拜，每天早晨一道步行上班，边走边热烈的交谈一天的计划。洛克菲勒后来这样写道：“这是一种建立在商业业务上的友谊。弗拉格勒先生常说，这种友谊远比建筑在友谊上的商业业务来得好，而根据我的经验我很同意他的这种说法。”
弗拉格勒是洛克菲勒罗到公司里去的首批经理人员中的第一个，这些人大胆泼辣，有时行为鲁莽，但他们具有创造性。
石油工业成功的关键，实际上也是大多数工业行业成功的关键。在于控制某个其他一切过程都依赖于它的重要过程或服务项目。洛克菲勒并不是惟一认识到这一点的人。洛克菲勒使用大量资金以扩大炼油生产量，他安排弗拉格勒去把一切可以装运石油的油罐列车以及油桶等等全都包下来，以解决运输问题。不消多久，那些想要运输石油的竞争对手们发现，他们一向赖以运油的铁路上已经没有运油列车可供他们使用了，因为洛克菲勒--安德鲁斯--弗拉格勒公司已经把所有可以运油的列车全部租下来了。但宾夕法尼亚铁路方面垄断了油田和东部港口间的火车，迫使洛克菲勒按其要求支付将煤油其他产品运到东部市场的费用。洛克菲勒不能容忍这种情况长期存在下去。1867年下半年，弗拉格勒访问了中央铁路公司的新任副董事长詹姆斯·德弗罗将军，对他说，洛克菲勒--安德鲁斯--弗拉格勒公司不再通过运河运输石油，而保证通过他的铁路每天装运石油60节车皮，不过条件是在运费上大打折扣。中央公司同意了，因此，宾夕法尼亚公司的垄断被打破。每桶42美分，从克利夫兰装运精炼油到东部海滨，每桶两美元。后来德弗罗在政府调查官员前作证说，湖滨公司与弗拉格勒私下里订立了运费的价格，前者为35美分，后者为1·3美元。
1870年1月10日，洛克菲勒充分利用了铁路运费上的优惠条件，加上贷款和吸收新的投资者等办法，创建美孚石油公司，资本额为100万美元。
1870年是个经济不景气的年头。铁路货车总的装运量在下降。那些强有力的然而受到不景气冲击的铁路老板们，为了解决他们的困难，着手寻求比自由市场所能提供的更为有利的解决办法。他们提出：既然他们能够同最大炼油商们合伙经营，分享利益，那又何苦去忍受这种正在消耗着金钱的竞争局面呢？于是他们酝酿出一个方案。这个方案对外打着不引人注目的招牌--南方改良公司。
根据该方案，铁路公司，包括宾夕法尼亚公司，纽约中央公司和伊利铁路公司，将与各主要炼油中心的最大炼油商们联合起来，为他们的共同利益来计划安排石油的流通问题。运费将提高，然而参加这个方案的成员们则可享受运费回扣，可以得到补偿而有余。
洛克菲勒组建了南方改良公司。该公司的运费以每桶24美分的特惠价格支付，而非成员的运输则要提高价格。那些拒绝参加这个卡特尔的油商们，则被逼得走投无路。美孚公司不在此例，对它的要价是每桶19美分。
在1871年的整个冬季里，这个方案以极其隐蔽的方式进行着。洛克菲勒和其他一些炼油商们仆仆风尘，多次到纽约去与斯科特、威廉·H·范德比尔特、杰伊·吉尔德以及其他一些铁路老板们举行秘密的最高级会议。在南方改良公司的2000份股份中，洛克菲勒和他的兄弟威廉以及弗拉格勒3人各占180股，这就使美孚石油公司在这个公司中所享受的权利比任何一个股东都多。
洛克菲勒把这个方案视为一种手段，借以消灭美孚石油公司在克利夫兰的绊手绊脚的竞争者。在这些竞争者面前只有两条路：把自己的企业解散并与洛克菲勒的公司合并，以换回股票；或者继续单干下去，而最后在运费折扣制的压力下破产倒闭。洛克菲勒先从几个最强大的竞争者人手，然后依次对付其他较弱的对手。他总是先与对手们约期会晤，在会谈中，他彬彬有礼地解释南方改良公司对大家有如此这般的好处。听了他的一番话后，只有那些把原则看得比经济生存更为重要的人才会拒绝他的建议。洛克菲勒在石油运输方面，取得了享受秘密折扣和“退款”等绝对有利的条件以后，为了进一步向他的对手施加压力，又将美孚公司的股票奉送给克利夫兰的一些主要银行经理们。这样一来，坚持独力经营的炼油商们就难于筹集资金继续孤军作战，他们的日子也就越来越难过了。
洛克菲勒以前的雇主艾萨克·休伊特（他后来成为一家大炼油商号--亚历山大--斯科菲尔德公司--的合伙人），被怂恿参加这个方案并接受美孚公司的股票。当此人对这个方案提出问题时，洛克菲勒耸耸肩膀说：“我自有赚钱的门路，你晓得个啥。”至于另外一些由于生意兴隆而迟迟不愿加入这个方案的入，则被暗示请他们等着洛克菲勒惯于藏在天鹅绒手套里的那只铁拳头。洛克菲勒对他的弟弟也不例外，他对弗兰克·洛克菲勒（当时是一家正在美孚公司竞争着的商行的合伙人）说道：“我们已经和铁路公司联合起来了。我们就要把克利夫兰的炼油厂家统统买下来。我们给每一个厂家加入韵机会……拒绝转移产权的商号将被碾得粉碎。如果你不把产业卖给我们，那么它将变得一文不值。”弗兰克没有出卖产权，因而后来他哥哥的预言成为事实时，他只能凄凄惨惨的度过余生。弗兰克曾经几次公开谴责他的哥哥，并且最后把自己两个孩子的尸骨从克利夫兰的祖坟里移出来。免得他们以后同约翰·D·洛克菲勒永远躺在一起。
这桩阴谋顺利地进行了大约两个月。但不料走漏了风声，暴露了南方改良公司的性质；于是石油区顿一片惊慌：人们通宵达旦地举行会议，举着火炬游行，向立法者们递送愤怒的请愿书（其中一份长达93英尺）对铁路公司经理发出的恐吓电报。
在这件事发生以前，洛克菲勒这个名字还只不过在克利夫兰的一个小圈里为人们所知。然而几乎就在一夜之间它一变而成为“臭名昭著”同义词了。在这场斗争持续的期间，《油城井架报》在每期头版上刊登着这些阴谋家的姓名，并且用黑框框圈起来，其中引人注目的一个就是约翰·D·洛克菲勒。这就是洛克菲勒即将进行的许多公开战役的第一次交锋，这也是人们第一次用“章鱼”和“蟒蛇”这类字眼来描绘袼克菲勒精心策划建立的组织机构。
产油商和炼油商联合起来了；他们大声疾呼，他们威胁恐吓，他们推波助澜，直到铁路公司最后不得不让步。甚至像伊利铁路公司的杰伊·古尔德这样不可一世的人物也被迫发出电报表示投降，声称他自己是因为受到其他一些发起人的逼迫才随和了南方改良公司的。接着，铁路公司做出和平姿态，同产油商签定新的契约，结束南方改良公司，并且宣布对各方收取一律的运费。宾夕法尼亚立法机构急急忙忙发出一项撤销南方改良公司特许状的法案，州长签署时还大肆宣扬了一番。此外，石油商组织了一个产油商保护协会，筹集了100万美元，以资助石油区的产油商，他们还保证不向美孚石油公司提供原油。
洛克菲勒及他的“慈悲天使”--美孚石油公司--看起来似乎遭受了一次沉重的打击。然而当石油区的人们兴头一过，环顾四周时，却惊得目瞪口呆：克利夫兰的炼油设备已经掌握在美孚石油公司的手中了。在这三个月的闪电战中，洛克菲勒已经想方设法买进了他在该城的竞争者中的22家，只剩下3家还没有买进。
在这次奇袭大捷之后的日子里，他满可以松口气，舒舒服服休息一下。美孚公司正在蒸蒸日上，且已掌握了全国炼油能力的1／4。他本人呢，已成为克利夫兰一个兴旺发达的公民，他做梦也没想到会变得这样有钱。他育儿生女，人丁日益兴旺；他购进了坐落在克利夫兰郊外“森林山”的一片地形不整齐、占地700英亩的乡村庄园。然而他不图安逸，他在一种完成事业的热情的驱使下，继续策马向前。
洛克菲勒和弗拉格勒同他们的势均力敌的对手w·G·沃登和查尔斯·洛克哈特举行了一次会议。这两个人也将他们的炼油厂和设备换成了美孚公司的股票。
差不多就在同时，纽约的查尔斯·普拉特公司也投入了美孚公司的怀抱。这些公司起初并没有将它们已成为美孚公司一个组成部分的新身份公开宣布，因为洛克菲勒希望在人们还没有看清他们的新身份以前，让这些公司尽量多地买进他们当地的竞争企业。这些公司同美孚公司的律师约翰·阿齐博尔德在石油区新建立的艾克密炼油公司一齐为美孚公司充当了掩蔽马，就是说，以他们自己的名义向竞争对手购进企业。这一切事情都是在秘密中进行的，来往信函和电报都使用了密码，例如：“情妇”代表美孚公司；“药剂师”代表费城，等等。洛克菲勒本人和同事们打交道时，就好像处理什么国家机密似的。当有人问到某个敏感的问题时，他常常会说：“你还是不知道的好，不知道，你就没有什么好讲的了。”
美孚公司在19世纪70年代迅速扩大着，取得了一些额外的收获并巩固了他对这一行业的控制。洛克菲勒总是设法节约，核算成了一种狂热，价格算到小数点后3位数。为了节省运输费用，他开始修建输油管道。到1876年，美孚公司拥有400英里长的管道线和一些能储油150万桶的终端站。
宾夕法尼亚公司在70年代后期打入了炼油业，提出了另一个挑战。美孚石油公司压垮了这个当时全国最大的公司，随即买下了它的全部炼油设备。在洛克菲勒刚开始其吞并竞争对手的战役之初，美孚公司周围有许多炼油厂，纽约有15家，费城有12家，匹兹堡有22家，石油区有27家。到他结束这次战役时，这里就只有独此一家美孚公司了。直到一切几乎成为事实之后，这个新兴的石油垄断企业的形象才变得明显起来。而这时洛克菲勒已经按照他的秘密计划进展到了这样一个阶段--不管炼油商或产油商们提出如何强烈的抗议，甚至立法机构采取措施也好，都无法阻挡他的步伐。
到1877年，美孚公司扫平了石油区、费城和匹兹堡的所有竞争对手，只是在纽约，还有零零落落的几家独立经营的炼油商在负隅顽抗，洛克菲勒不想以他的帝国的势力控制全部的石油市场。他知道，美孚公司在发挥其接近全部的生产能力的过程中，让那些较小的和效率较低的竞争者能够振作起来，在艰难的环境中生存下去，能够避免叫人指责它进行垄断控制。
到19世纪80年代，宾夕法尼亚油田正开始干涸，洛克菲勒开始重视钻探和销售，美孚公司已经控制了一批总资本达7000多万元的公司，它必须有稳定的原油供应洛克菲勒买下几个地区性的销售公司。同时，他的以“章鱼”闻名的公司，现在已经笼罩了全行业，占全部炼油业的90％，并决定着诸如煤油、润滑油、石蜡、石脑油、溶剂的价格以及美孚公司科学家和技术人员从石油中提炼的其他产品的价格。1880年，美国生产出来的石油有95％是美孚石油公司提炼的。自从新大陆早期年代里英王政府公布垄断事业的情况以来，还没有一个企业能够如此彻底地独霸市场。
洛克菲勒为了成就霸业，不择手段。然而，他所采用的手段也是商战巨人们所惯用的。