晋朝人陈寿在《三国志》中记载，魏明帝太和二年（公元228年），魏明帝“使将军郝昭筑陈仓城；会（诸葛）亮王，围昭……（亮）起云梯冲车以临城。昭于是以火箭逆射其云梯，梯燃，梯上人皆烧死。”这是我国首次关于火箭用于战争的记载。可见，早在三国时期（约公元220—280年）最初的火器就已经出现了。当时的“火箭”，只不过是把引燃物绑在箭杆上，借助弩弓等机械力投射出去，目的在于纵火或延烧，只是一种带“火”的箭。
公元10世纪，唐末宋初时代，已经有火药用于火箭的文字记载。这时的“火箭”只是用火药取代早期火箭箭杆上的引燃物，仍由弩弓投射出去，还不是靠自身喷气推进的火箭。
由火药喷射推进的火箭的发明年代大约在唐末宋初。在唐代的烟火玩具中已经有了“烟火起轮，走线流星”。宋代的唐福曾经把他所制造的火箭、火球、火蒺藜献给朝廷。不久，石普也制造出了火药、火箭，宋真宗还把他召来，当众作了表演。
大约到了南宋，民间流行放烟火。于是发明了“地老鼠”和“走线流星”等不同种类的烟火，这些烟火都是利用火药燃烧时喷出气体，借喷气的反力而前进，它是火箭发展中的重要一步，特别是“走线流星”这种烟火，这是在火箭筒上绑一根芦苇或竹签，起船舵或者箭羽那样的稳定作用。点燃火箭后，利用反力推进，一飞冲天。
在“走线流星”的启发下，人们把火药筒绑在普通箭的靠近箭头的箭杆上，这种箭可以不用弓发射，而是靠火药筒喷火时的反力，平飞向前。这是一种原始火箭，它用纸糊成一个筒（实际上就是固体火箭发动机），然后把这个药筒绑在箭杆上，药筒前头封闭，后头开口（即喷管）。火药燃烧时从后口喷出大量气体，利用反作用力推动火箭前进。这种原始火箭，启发了现代火箭的研制。
火箭利用反作用推动前进。在自然界中，鲶鱼就用向后喷水的方法使自己快速前进，乌贼鱼是用向后喷汁的手段使自己前进的。
在宋朝，开始在作战中用火箭作进攻武器。火箭作为兵器可重达1千克，射程约达到300～600米。随着火箭技术的进一步发展，火箭式样增多，威力增强。12世纪60年代初，中国境内南宋和金两个对峙政权，在长江下游和州（今江苏省和县）对岸的采石附近的江面上，进行一场激烈的水战。宋军使用原始火箭弹——霹雳炮打败了金军。
1161年（宋绍兴三十一年）金帝完颜亮迁都汴京，发兵南下，企图统一中国。完颜亮率步兵、骑兵24万，水兵3万，分道南下：一路水兵由海上直攻临安；一路由凤翔取大散关向四川进攻；自率主力出寿春向江淮进军。宋将刘锜由扬州开赴淮阴守淮东，命王权进驻寿春。王权畏缩不前只进至庐州，探悉金军势大，首先撤退，过和州后，弃军先渡，情势非常混乱。刘锜奉命撤退守江，由淮阴经扬州退驻瓜州。金军很快占领庐州、和州、扬州。金将肖琦到扬州后，率部争夺瓜州渡口。宋将吴超在运河沿岸阻击金军，在皂角林中设伏，用强弩射金兵，肖琦被围，死战得脱，因河岸狭窄不便使骑兵活动，金兵撤退时被俘数百人，宋军取得小胜。后四日，宋军弃瓜州，退守镇江。完颜亮率军进驻和州，准备用采石（安徽当涂西北）渡江进攻。宋虞允文奉命犒师至采石，收容了王权散兵1．8万人，以步骑兵排在江岸，海鳅船排列在江中，准备迎击金军。金军舟船自杨林渡口进攻，将到南岸时，见宋军严阵以待，少数登上南岸，即被宋军全部歼灭。宋海鳅船由民兵踏机，冲入金船群中，金舟底阔如箱，行动不便，大半被撞沉，金兵多死江中，少数逃回皆被完颜亮杀死。次日虞允文指挥舟师监视杨林渡口，和神臂弓射杀金兵，又派人到上游放火，烧毁金残余船只。
11月，完颜亮在采石渡江失败后，乃移兵瓜州，企图从瓜州渡江夺取镇江。虞允文知刘锜病重，镇江空虚，乃将部队交给李显忠，分兵赶往镇江，在江中试航车船，绕金山，航行如飞，金兵均甚惊骇。完颜亮治军残酷，下令限期渡江，凡逃跑、落后者都要杀死，军心更为动摇。这时，完颜褒（后改名完颜雍，史称金世宗）已在辽阳继位，于是，部队将领起事，杀死完颜亮，表示退军讲和，金兵陆续撤退。
1161年采石战役中，宋军以少胜多，打败金军，其主要原因是：宋军将领虞允文指挥得当，步、骑、水兵密切配合，水战中使用了轻便灵活，机动性能好的海鳅船冲撞金舟，还使用了火力强，能打击较远目标的霹雳炮。
关于采石战役中使用霹雳炮，宋史和金史中均未记载，有关霹雳炮的原始史料，主要来自南京诗人杨万里（1127—1205年）作的《海鳅赋后序》约写于1170年，是采石战役后九年。此文后来收入《诚斋集》卷44中。这种霹雳炮用纸筒制成，内装炸药和发射药，炸药内混有石灰。发射时点燃药线，发射药燃烧从筒内喷出火焰，借反作用推力将武器射向敌方。然后发射药引燃炸药，发生巨响，纸筒炸裂使石灰散为烟雾，敌方人员睁不开眼而丧失战斗力。霹雳炮的发射和爆炸同今天的“二踢脚”非常相似。1161年采石战役宋军使用霹雳炮攻击金军，是中国军事史上第一次在战争中使用火箭武器。
1223年（宋绍定五年、蒙古窝阔台汗四年、金正大九年）4月，蒙古窝阔台汗遣大将速不台率大军攻打金都城汴京，金守将赤盏合喜令部下以“震天雷”、“飞火枪”等兵器抵抗。“其守城之具有火炮名‘震天雷’者，铁罐盛药，以火点之，炮起大发，其声如雷，闻百里外，所围半亩之上，火点甲铁皆透。大（蒙古）兵又为牛皮洞，直至城下，掘城为龛，间可容人，则城上不可奈何矣。人有献策者，以铁绳悬‘震天雷’者，顺城而下，至掘处发火，人与牛皮皆碎迸无迹。又飞火枪，注药以火发之，辄前绕十余步，人亦不敢近。大（蒙古）兵惟畏此二物云。”双方激战六昼夜，金军靠从宋军那里得到的火器，成功地守住了都城，蒙古军遭到损失后撤兵，双方暂订议和。这就是历史上有名的汴京之战。
“飞火枪”顾名思义，“能飞的火枪”。其构造是在普通枪的枪身加装一个火药筒。发射时，飞火枪上的火药筒喷出的气流产生反作用力，使飞火枪自行飞去。飞火枪是中国的一种火箭兵器。
火箭技术由我国经过商船的往来和战争的需求传入印度、阿拉伯国家和欧洲。据说，欧洲人最早使用的火箭是成吉思汗西征时传过去的。当时在欧洲战场上，还出现了多箭齐发的火箭筒，即一支筒内装几只甚至几十只火箭，通过一根引线同各种火箭的引信相连，点燃引线后，火箭即可同时发射。这种集束式火箭在战场上颇具威力，使欧洲人大为吃惊，在波兰的利格尼兹地区曾发现了一幅描绘蒙古军队使用火箭作战的壁画。
到了明朝时代，中国火箭技术有了很大的发展，军队装备火箭已相当普遍，火箭这种兵器的种类已多达几十种，并且出现了“二级火箭”。这些火箭基本上可分为三类：单级火箭、火箭飞弹和多级火箭。
1．单级火箭
单级火箭分为单发和多发。单发的一次发射一支箭，多发的一次发射几支、十支到一百支箭。发射的方式分为用架、用筒、用桶、用匣等。
（1）单发火箭这类火箭有飞刀箭、飞枪箭、飞剑箭和燕尾箭等。这四种火箭，箭杆长六尺，直径五六分，箭镞长三寸，箭翎长七寸；药筒长八寸，直径一寸二分，缚于箭镞之下，引线向后，箭头分别呈刀、枪、剑和燕尾型。这类火箭是在宋朝和元朝火箭的基础上发展起来的，箭头一般都涂以虎药（毒药），能穿铠甲，射程可达500步。使用时，架在树枝上或兵器上，在距敌300步左右点火发射。
（2）集束火箭又称为多发火箭。将若干支单发火箭的药线并联起来，点火后同时发射出去。这类火箭有五虎出穴箭，5支单发火箭并联，射程约500步；九龙箭，9支单发火箭并联，射程约400步；火弩流星箭，10支单发火箭并联，射程约400步；火笼箭，17～20支单发火箭并联，射程约300步；长蛇破阵箭，30支单发火箭并联，射程约200步；一窝蜂箭，32支单发火箭并联，射程约300步；群豹横奔箭，40支单发火箭并联，射程约400步；四十九矢飞帘箭，49支单发火箭并联，射程约400步；白虎齐奔箭，100支单发火箭并联，射程约300步。
10支以下的集束火箭，通常装入竹筒或木筒内发射，每筒重量约二斤，每名士兵可携带4～5筒。20支集束火箭装入竹编圆筒内，圆筒长四尺，口大底小，外面糊油纸，可以防风防雨。30支集束火箭放入木匣内，箭杆长二尺九寸，火箭筒长四寸，每匣重量约五斤；40支以上集束火箭装入木匣内。大型集束火箭放在专门设计制造的战车上，用人力或畜力牵引。
明朝天启元年（1621年）茅元仪所著的《武备志曲》一书中曾介绍了几种集束式火箭：