哈特曼后被分配到第三大队，他到第7中队任勒斯曼中士的僚机。
1942年10月14日，哈特曼和勒斯曼初次合作，由于哈特曼犯了新飞行员盲目性和不善观察的毛病，他被处罚和地勤工作3天。
1942年11月5日下午，哈特曼和大队副官特雷普特中尉率4架飞机在迪戈附近起飞，去拦截企图攻击德军地面部队的飞机。哈特曼击落1架伊尔—2飞机，但他的飞机也受了伤，迫降后被德步兵救了出来。
哈特曼被任命为克鲁平斯基的僚机，克鲁平斯基当时已击落飞机70多架。战争结束时，克鲁平斯基共击落197架，居世界第15位。此时，哈特曼才击落2架飞机。
在与经验丰富的克鲁平斯基配合的日子里，哈特曼的战术逐步奏效，至1943年3月14日，他共击落敌机15架，获得了二级铁十字勋章。至1943年底，他已出动110次，当上了长机。1943年5月25日，哈特曼又击落6架敌机。不久，他出动后飞机受伤，第5次迫降。
哈特曼在空中搜寻“猎物”。1943年8月17日，哈特曼击落飞机达到80架，平了第一次世界大战著名空战英雄曼弗雷德·冯·里希特霍曼所创造的世界记录。9月，他升任中队长。
9月底，哈特曼击落敌机115架，破默尔德斯创造的击落敌机100架的记录，成为新的“空军英雄”。
10月29日，哈特曼击落了第150架，平了克鲁平斯基的记录。他因此被授予铁十字骑士勋章，并获准休假两周。
哈特曼击落150架飞机后，报上常常登出他和52联队其他“英雄”的照片。苏联飞行员给他起了个“南方黑色魔鬼”的绰号。所谓黑色魔鬼是哈特曼机头上画的一个象郁金香花心似的黑色箭头。
1944年1月至2月，哈特曼又击落飞机50架，平均每个飞行日击落大约2架飞机。1944年3月2日，哈特曼击落飞机数达到了202架，希特勒授予他和克鲁平斯基中尉各1枚柏叶骑士十字勋章。哈特曼少尉和克鲁平斯基一起飞到阿尔卑斯山脉的贝希斯特加登山庄。
1944年3月18日，哈特曼回到伦贝格前线，他晋升为中尉。这个时候，美国人最新式的P-51式飞机投入了东欧战场，给德军造成很大威胁。
5月初，在苏军强大的反击攻势面前，哈特曼的中队狼狈撤出苏联，移防罗马尼亚的罗曼。他们的任务是拦截袭击罗马尼亚石油中心的美国B-17、B-24轰炸机群，同时，继续同苏联空军作战。到5月底，哈特曼又击落23架飞机。
1944年7月1日，哈特曼已击落250架飞机，成为德国空军（也是世界空军）第5个也是最后一个达到这个高峰的超级王牌。
8月3日，希特勒授予哈特曼1枚剑柏骑士十字勋章，这是颁发这枚勋章以来第二次授予一位中尉。哈特曼成了德国空军的神奇人物和“民族英雄”。
1944年8月24日，哈特曼2次升空作战，击落敌机11架，从而使他击落飞机的总数达到301架，这是世界上第一个击落飞机超过300架的王牌飞行员。希特勒颁给他1枚钻石骑士十字勋章。
1945年5月8日，德国宣布无条件投降的这一天，哈特曼从捷克起飞，执行这次战争的最后一次任务——侦察一支苏军的位置。他没打算再进行空战，可是却撞上了8架雅克-11飞机，由于对方轻敌大意，他击落了第352架飞机。
回到机场，航空兵司令官赛得曼上将司令官命令格拉夫和哈特曼飞往多特蒙德，向英军投降。但是盟军高级官员的协议中，捷克属于苏联受降区，在比尔森以东被美国人俘虏的德国人应该交给苏联进攻部队。1945年5月16日，美国人将哈特曼等移交给苏军。于是，23岁的哈特曼成了苏军战俘。
由于哈特曼的“战绩”和他飞过ME-262的经历，苏联人对他进行了多次审问，想了解ME-262的有关情况，但哈特曼拒不合作。1949年12月，苏联法庭判处哈特曼25年徒刑。
1955年，西德总理阿登纳收到哈特曼母亲的信，希望拯救哈特曼。阿登纳亲自回了信，答应下个月采取措施使哈特曼获得自由。为兑现诺言，阿登纳在莫斯科签了一个一般协定和一个贸易协定，事先提出了释放战俘的条件。苏联同意把释放1945年起关押的战俘作为协定的一个内容。哈特曼列入了名单，被提前释放。
1955年11月，回到西德不久的哈特曼与乌施举行了宗教仪式的婚礼，这是一个推迟了10年多的婚礼。
1956年底，哈特曼正式回到空军工作。1957年，哈特曼赴美考察F-104.回国后，哈特曼在歼击飞行学校担任过一段时间的副校长后，又改任新德国空军的第一个喷气式战斗机联队——第71战斗机联队指挥官。1968年，哈特曼升为上校。1970年9月30日，哈特曼退出现役。