杰伊·古尔德现在成了这家拥有全纽约第一批两条高架铁路的公司的主管。在那些帮助他坐上这个位置的人里，有一位是赛勒斯·菲尔德，该公司的原始股东之一。赛勒斯·菲尔德在伊利铁路时期，也就是从1871年开始就与古尔德有合作。他是一位着名人士，是海底电缆的发起人；在社交上极为突出，而且被认为是投机和投资领域中的一位强大且热心的领袖。一开始，赛勒斯·菲尔德就认为与古尔德而不是其他人合作会更好一些。他做出了一个很好的选择，而且成了曼哈顿高架铁路公司的名义领袖。
一旦掌控了这个城市的高架铁路，古尔德、赛吉以及菲尔德就发行了更多的股票。他们操纵着公司的股票，使其价格上涨，提高旅客费用，收获了丰厚的利润。然而，一切并不像看上去那么好。在部分媒体中，特别是在当时正在改革的《纽约时报》中，古尔德遭到了狂轰滥炸。他被称作“祸害”“海盗”或者“人民公仆的蛀虫”，是披着人皮的恶魔。《纽约时报》宣称：
在证券交易史中，没有比记录杰伊·古尔德、拉塞尔·赛吉、赛勒斯·菲尔德及他们的合伙人在寻求控制纽约市高架铁路系统的那一章更为可耻的章节了。
这些批评对古尔德这位深沉的小个子男人来说没什么作用。因为就像是习惯了那些在竞争中被他打败的人对他的妒忌一样，古尔德已经习惯了对手们对他的怨恨。但是，曾经心甘情愿做古尔德工具的菲尔德却被这些攻击所困扰。白胡子的菲尔德个子高大，在这个三人组中，他是一位社交名流。菲尔德显示出了一些公共良心的奇怪症状。他想要为自己辩护，或以某种形式来做出补偿。菲尔德干了一件让古尔德十分苦恼和厌烦的事情。作为曼哈顿高架铁路公司的名义领袖，他决定将乘客费用从10美分降到5美分，并宣布他的公司是一家致力于对公共服务和城市发展做出贡献的机构——而只字未提他自己的大量控股——而且，他将股东中的一些人拉到了自己那边。
在古尔德看来，作为一个资本主义纯粹的谋士，没有什么能够比这样的政策更愚蠢、更浪费。这样的政策与他自己关于处理纽约交通系统的独到计划发生了严重的冲突。这个政策与古尔德事先计划好了的管理不善或狂乱，诸如将道路向他想要的金钱报酬上的结果开放，背道而驰。而且，当菲尔德运用他的资源大举买进曼哈顿高架铁路公司的股份以加强他的控制时，古尔德决定要摆脱他们中间的这位“改革者”。
古尔德与赛吉一起悄悄地布下了陷阱。就像是一个亡命之徒带着他的匕首正在等着他的受害者转过身来一样，他们等待着进攻的好时机。古尔德他们鼓励菲尔德继续买入，而且将自己的股份也卖给了菲尔德。当通过所有的信息渠道得知菲尔德已经超“负荷”了时，古尔德他们就在市场中发起了灾难性的攻击。菲尔德的信用破产了，曼哈顿高架铁路公司的股票几乎拦腰折半。菲尔德已经被摧毁了，此时古尔德“拯救”了他，他同意接管菲尔德所持有的受拖累的股票，菲尔德则损失了几百万美元。“这就是人们经常指责的、由古尔德制造的一种状况”。
通过谣言和报道，这件事情在公众中回响了很长时间，并且公众都对菲尔德所遭受的这次攻击表示同情。在与古尔德合作以前，菲尔德曾经是一位拥有很高道德声誉的人物，是一位受欢迎的市民，他从事一些对土地和建筑开发有益的事业。此外，菲尔德也有几个美丽并且颇有天分的女儿。其中一个女儿在她的回忆录里描述了他们豪宅中的悲惨场景，而这时菲尔德的健康状况也正在恶化。最终，菲尔德变得赤贫，以至于那些同情他的朋友，例如摩根，就为他筹集了一笔钱。而且在菲尔德临终前的那些年，他的精神和身体似乎遭受了长期的极度痛苦。
曼哈顿高架铁路公司和菲尔德这些事情的成功运作提高了古尔德的声誉，但这些声誉在某些方面很奇怪。古尔德现在处在世俗权力的高峰。在密西西比、密苏里以及科罗拉多河之间的领地中，他买卖、修建和拆卸着大铁路系统。古尔德在面积比德国、意大利、法国和西班牙加起来还要大的国家里操作业务。他每天直接雇佣的员工超过10万名。正如古尔德一位早期传记作者曾仰慕地写道的那样：“在那些他控制之下的、建立在很多州和领土之上的、几乎从东海岸到西海岸的巨大企业中，他的话语就是法律。”据说，在美国，没有比古尔德权力更大的人，而且也没有人比他能享受更多的奢侈，不管是在他的豪华游艇“大西洋号”上，还是在他位于城外哈德逊河边欧文顿镇上(Irvington-on-Hudson)奇怪而又华而不实的哥特式城堡中。
因为古尔德的权力，公众对他敬畏有加。对于一个控制了媒体、电报系统以及铁路的人来说，对于一个能够看到所有的想法——从意见到流言，审视着所有的秘密，能够加速或延迟事件的人来说，人们能够对他怎么样呢？1884年，在布莱恩与克利夫兰激烈的总统竞选中，人们指控古尔德隐瞒了经西部联合电报公司线路返回的选举结果。这或是为了布莱恩的利益，或是为了使自己在市场中免遭因为克利夫兰的胜利而造成的损失。疯狂的民众挤满了街道，威胁要洗劫《论坛报》大厦，然后他们跑到西部联合电报公司雄伟的大楼前面抗议道：
将杰伊·古尔德吊死在青苹果树上！
这是很奇怪的音乐。古尔德和以往一样泰然自若。第二天在接受质询时，古尔德称他因感冒待在乡间住宅里养病。他待在温室里面，待在几千朵世界上最大的兰花中间来安慰自己。当然，培育这些兰花是古尔德的最大爱好。
1884年和1885年，具有劳工骑士好战性的工人们在多少有点固定仪式的旗帜下，联合起来反对古尔德。工人们的罢工伴随着前所未有的破坏和流血，对古尔德来说都是沉重的打击。但是，即使是这种组合的力量、这种集体的力量，想要征服古尔德都是徒劳。
总的来说，在这些难挨的日子里，古尔德还是保持了异乎寻常的镇静。古尔德的脸庞就是一张面具，他的双眼“像煤炭一样”，发出平静镇定的目光。人们很少能从他的眼睛里看出他经受的那些可怕的不安，那些极度痛苦的夜晚，那些疲惫，那些折磨人的疾病和痛苦。而古尔德正是在这样的压力下工作的。他也是通过超级强大的精神力量，成功地忍受住了那些折磨人的疾病和痛苦。时过境迁之后，这种精神将会等同于最英勇的壮举。古尔德总能保持从容不迫，轻言细语。没有人知道，也没有人了解过他的做事方式和行动计划。人们一般听说的只有一个例子，这发生在古尔德放松警惕的时候。有一次，古尔德生病了，但还是与他的医生一起出现在了董事会会议中。在这次会议中，他的老搭档拉塞尔·赛吉的意外反对使得古尔德的神经突然绷断，并且陷入了一种歇斯底里的状态。由于情况比较突然，他的医生赶紧将胡言乱语的古尔德带到了床上休息。
也是在这个时候，古尔德曾经招惹到的那些敌人开始聚集起来密谋。他们以彼之道还施彼身，制定了整垮古尔德的策略和总体步骤。在华尔街永不停息的动荡中，这些几乎从来不会相信彼此的唯利是图的士兵联合起来，共同对付古尔德。他们针对古尔德的阴谋不断流传，形成了有关华尔街的一些最为浪漫的传说。1881年，一场巨大的暴风雨吹断了古尔德电报公司的线路。此时，古尔德被迫使用了送信服务，而经纪人柯马克和特拉弗斯(Travers)绑架了古尔德的信使，并且用一位和报童长相类似的间谍代替了这位信使。几天的时间里，这位间谍将古尔德最为机密的通信带到了他的敌人们位于温莎宾馆的总部，在这里这些通信被打开了，然后被送到了合适的目的地。古尔德因此遭受了惨重的损失，直到他发现了这个诡计为止。
1882年，当古尔德西南铁路项目遭受了惊人的失败之时，他的信用受到了攻击。散布的谣言称古尔德欠了银行很大一笔债务，因此他必须很快在一个下行的市场中抛售他所持有的大量股票。古尔德叫上一些人到他的办公室为他作证，并让他的私人秘书从他的地下室里取出了成捆的债券和股票，并将这些债券和股票拿出来展示。古尔德宣称，他直接拥有的股票价值5300万美元，此外还有很多股票在别的地方。因此，人们看到了，古尔德已经神秘地提前预警，并且完全使自己的铁路公司逃脱了被毁灭的厄运。
两年后，伴随着总体的金融不景气，新出现的攻击毫无疑问地将古尔德带到了危险的边缘。那些曾经似乎被他夺走了金融生命的人——他的前搭档詹姆斯·基恩、亨利·史密斯以及一位早逝的着名的莽撞投机者查尔斯·维里修弗（Charles Woerishoffer），都恢复过来了，并且一起成了他的敌人。他们与许多其他的华尔街领袖们在1884年格兰特-沃德恐慌（Grant and Ward Panic）时刻，联合起来“削弱”古尔德。而当时古尔德的铁路公司正陷入绝境，人们都认为他的负担极为沉重。古尔德试图通过支持市场来避免遭受严重的打击。但是，一天天过去了，古尔德的业务却不断恶化：他的密苏里太平洋铁路公司，他的西部联合电报公司，他拥有的所有东西都被逼到了破产的境地。这件令人不可置信的事情发生了——杰伊·古尔德被人打败了。霍尔斯特德（Halstead）提到：
一天早上，古尔德让其律师对他的资产进行了一项分配。在第二天，在一个美丽的周日清晨，他的游艇驶往朗布兰奇(Long Branch)美国新泽西州东部城市，海滨胜地，那些空头操作者正在那里度假。古尔德的密使登上了岸，并且与他的敌人们举行了会谈。空头们容忍了古尔德的最后通牒——这是一份分配以及一份声明。这份声明的内容是，只有空头们与古尔德达成协议，古尔德才会在第二天早上公开宣布他已经无力偿还债务。
根据古尔德传记作者的模糊暗示，古尔德分配了一部分他的不受限控股，这些股份可以留给他的继承人。而古尔德本人则会宣布正式破产，会损失几百万美元。古尔德的失败将会制造出比现在正在发作的恐慌更剧烈的恐慌。在这场恐慌中，空头们与之签订合同的相关方也会沉没在普遍的崩溃中，这使得空头们也成了严重的受损者。因此，古尔德就像大力士一样，准备要摧毁所有人都居住在里面的房子。在长久的会谈之后，空头们同意“停止”斗争，以每股50美元的价格接受了5万股西部联合电报公司股票。这之前，他们已将这些股票以高得多的价格卖出去了。他们期望，古尔德能够很快地在任何一件事情上都失败。
但是，古尔德现在使用了空头们释放出的这些资金来对付他们，并且沉重地打击了他们。古尔德将他的密苏里太平洋铁路公司的股票以及其他股票都囤积起来，而他的对手们正在做空这些股票，古尔德困住了他们，并且迫使他们进行交割。再一次，古尔德神奇地逃脱了他曾经为其他人准备的命运。
然而，古尔德还是被1884-1885年这场近似大灾难的事件深深警醒了。在他的晚年，古尔德变得更为谨慎。他节约着自己的存款，直到他的战争基金又再次变得充裕。然而，在几年相对的偃旗息鼓之后，古尔德将会再度发起攻击。1892年，就在古尔德去世的那一年，古尔德都在下定决心开始一次新的征服活动。这次活动会和以往一样巨大，会和以往一样不可捉摸。