加农炮的名称是从英文“cannon”的译音而来的，原意是“长圆筒”。最早的加农炮起源于14世纪的欧洲。17世纪后，为了提高炮弹射出炮口时的初速度和火炮射程，人们开始制造身管较长的火炮，并把这种火炮称为加农炮。当时，榴弹炮的身管长度是其口径的6～8倍，而加农炮的身管长度是其口径的16～22倍。
1897年，世界上第一门具有现代反后坐装置的75毫米野战炮诞生，这是世界上第一门现代意义上的加农炮。
加农炮在其发展过程中，身管逐渐加长，射程逐渐增大。20世纪五六十年代，加农炮的身管长度为口径的40～61倍，最大射程达3.5万米。
加农炮可直接瞄准目标进行直射，因此，大口径的加农炮经常用于对付有装甲防护的战舰，较小口径的加农炮则发挥其便于直接瞄准射击、穿甲能力较强的特点，担负起打击坦克等装甲目标的任务。大口径加农炮在战场上还担当对纵深目标进行远距离火力突击的任务。
一般来说，坦克炮、反坦克炮、舰炮、空防炮等，也属于加农炮。加农炮弹道低伸，射击死角大，阵地配置受限制，所以常常与榴弹炮配合使用。
20世纪70年代以后，一些国家研制的新型榴弹炮也具有弹道低伸的特性，射程也与加农炮相近。