在第一次世界大战中，英国制造的世界上第一批坦克投入战场，给德军造成极大的恐慌。德国官兵被眼前出现的“钢铁怪物”吓晕了，顾不上抵抗，丢下武器就逃，没人对着冲过来的“钢铁怪物”开枪放炮。事后，德国人发现英国人发明的这种“钢铁怪物”也会被枪弹击穿，于是，一些专门用于反坦克的枪炮诞生了。后来，反坦克枪渐渐被威力强大的反坦克炮所替代。反坦克炮专门以坦克和装甲目标为打击对象，炮身都比较长，炮弹发射初速度快，直射距离远，穿甲能力强，大多属加农炮或无后坐力炮类型。反坦克炮的弹道弧度很小，一般对目标进行直接瞄准和射击。第一次世界大战期间，法国制造的世界上第一种反坦克炮“乐天号”，炮管较长，炮膛压力较大，实心的穿甲弹射出炮口之后，动量很大，足以穿透坦克的厚装甲。
在第二次世界大战时，由于许多坦克的装甲厚度已达70～100毫米，反坦克炮的口径也从20毫米增大至57～100毫米，而且，由于钨芯超速穿甲弹和空心装药破甲弹等破甲能力更强的弹种的诞生，反坦克炮的性能得到很大提高。在第二次世界大战中，苏联为粉碎纳粹德国的集群坦克，曾装备并使用了上万门反坦克炮。而德军为了能与苏军坦克相抗衡，将一些大口径反坦克炮安装在坦克底盘上，变牵引式反坦克炮为自行反坦克炮，并加上了较厚的防护装甲，它当时被称为“强击炮”，可以打击坦克等装甲目标，也可以像坦克一样以直射火力打击步兵、掩蔽部等地面目标。
20世纪70年代以后，一些国家逐渐用反坦克导弹取代了反坦克炮。不过，近年来，由于安装在装甲车辆底盘上的自行反坦克炮的成本只有坦克的1/3左右，其机动性又远胜过其他反坦克武器，所以它又有东山再起之势。