灵武高庙又称上帝庙、玉皇庙，原名为玄武观，始建于隋开皇二十年（公元600年）。到了宋代，当朝皇帝为避其祖赵匡胤名讳，遂诏告天下将玄武观统改为真武观。根据有关史料上记载，灵武高庙前后修建过多次。从公元600年至明宣德三年（公元1428年），因黄河水泛滥，城池及庙宇坍塌，两次移址在城北7里处建新城，即灵武城现址。新城建造好后，随即又重建了真武观。从现有的基台及构成情况看，原庙宇规模不是很大。自明代后，经过逐年修扩使此庙成为庙宇群，真武观也改称上帝庙。根据庙内塑像的构成情况，灵武高庙应为儒、道、佛为一体的综合性质的庙宇。据《嘉庆灵州志迹》城貌图标明的位置来看，高庙坐落的位置正是明代城墙修建处。由此我们得知，自明代洪武十七年（公元1384年）至今，高庙的位置再未变动。
由于其建筑位置位于灵武城中最高处，登上庙俯瞰，全城皆收入眼中，故老百姓习惯上称上帝庙为高庙。
高庙整体建筑是中国古代建筑艺术的结晶，它布局严谨，为逐层拾阶增高。
主体建筑始终分布在一条中轴线上，两侧各有配殿，结构、面积相同。高庙共3层，每层重楼叠阁，亭廊相连，檐牙相啄，脊角伸展，构成了迂回曲折的建筑群。据一些老年人回忆，为了建好高庙，使其充分吸纳各地的建筑风格，1941年5月3日高庙重建时，从河北、陕西等省聘请具有高超技艺的民间工匠来修建高庙。历史上，灵武属边疆重镇，经济、文化比较发达，故城中庙宇数量很多，如火神庙、精忠庙、鲁班庙，等等。由于香火鼎盛，逢庙会、节日除本地的百姓拜佛敬香外，陕、蒙等周边省区的群众也源源不断地赶来参加活动。高庙自修建完工后，得到了百姓的呵护，香火旺盛，名气大增。但是由于旧社会政治形势极不稳定，特别是在历次战火中多次遭劫难，高庙最终于清代兵乱战火中毁坏。1940年，由灵武知名人士郭创业及部分官吏、百姓动议出资重建，并将呈文上报有关部门。
郭创业系灵武人，家住在县城火神庙旁的尹家拐子处。本人是个开馆子的小掌柜，精于白案面点制作。他经营多年，家中经济略有盈余。为什么他对修建高庙这样痴心？对于郭创业来讲，其中有一段特殊经历让他刻骨铭心。民国战乱时期，有一年土匪进城抢劫，将郭创业从饭馆挟持到谢家井巷。土匪没有抢到钱后凶相毕露，将郭创业砍倒后离去。谁知郭创业命大，脖子经土匪刀砍后，气管和大动脉竟未断。晚上家人将他抬回，发现他还有气，就请大夫给他治疗了一段时间，他竟又活了下来。郭创业大难不死，成为灵武的一段奇闻，人们给他起了绰号“郭砍脖子”。郭创业没有被土匪砍死，他认为是神灵保佑，此后一改过去辛苦劳作、攒钱不愿花的习惯，开始济贫救困、乐善好施。为感谢神灵的救命之恩，他发下誓，要修建被兵火毁坏的高庙。有了这个想法后，他经常在自己开的小饭馆和食客谈起这件事。
天长日久，这个愿望得到很多人的支持。为了能得到县政府的支持，郭创业一趟趟去找县长赵旭东和灵武商会会长赵文秀。郭创业多次的申请及恳求，使赵旭东、赵文秀感动了，决定支持这一想法。经过多次商议，他们决定向社会集资共同建庙，并和社会上的贤达、工匠反复讨论庙宇的结构、规模、用料等问题，征集了很多方案，而且募捐了不少建庙资金。在筹集资金中，郭创业表现最为突出，甚至拿出了全部的积蓄来支持高庙的修建。针对过去高庙低，容易被洪水侵袭的弊端，赵文秀和县长赵旭东去找国民党灵武驻军暂九师师长卢忠良，恳请卢忠良给予帮助，解决地基工程中存在的困难。卢忠良和参谋长何晓霆、副师长万永和商议，表示积极支持地方公益事业，高庙地基土方拉运的工程由暂九师完成。暂九师的介入，使基台12900立方米的土方工程问题迎刃而解。经过准备，1941年5月3日，暂九师的士兵开始垫土方。那时没有什么机械和设备，土方全由暂九师的士兵用背斗背，一层层填入，再用夯夯实。由于工程量大，非常辛苦，很多士兵的脊背被磨得掉皮。灵武城的老年人说，卢哑子（卢忠良声音嘶哑）师长为地方办了一件好事。高庙的台基加高，弥补了建筑物高度不够的不足，提高了防腐、防火、防盗、防洪的能力。同时，增强外观的宏伟气势，使主体建筑更显得高大、巍峨。
为保证高庙修建工程的顺利进行，这一年，灵武还成立了高庙修建委员会。卢忠良、赵文秀任会长，县长赵旭东为主任委员，赵兴业为常务委员会筹办员。委员会下设四个股室，为工程、募捐、会计、总务四股，赵文秀、李宝轩、郭创业、崔昌成、贺裕华分别为四股正、副负责人。这个委员会的成立，为工程精心组织、有条不紊地进行奠定了坚实的基础。工程股主要负责施工上的具体事务，他们贴出红榜，广泛从社会上征集施工人员，而且不辞辛劳从陕北、中卫、平罗请来了一批能工巧匠参与施工。有名的木工师傅陈永宽负责技术方面的工作。在这一古建筑的修建中，木质结构占的比重非常大，技术要求比较严。陈永宽领着陈万富、韩永先等弟子，先是到中卫高庙观摩了几天，并将中卫高庙的整体造型细心地用笔画出来，回灵武后，很快将高庙模型做了出来，这对于建灵武高庙起到了很大的参考作用。陈永宽识字不多，但多年来他走南闯北，曾参与修复河北承德的避暑山庄等古建筑工程，积累了丰富的古建筑修建经验。在重建灵武高庙中，最难的是亭榭楼阁的构造，既要求美观牢固，又要求精益求精，一丝不苟。陈永宽和徒弟在一些大殿、偏殿中的屋顶构建中，大胆地采取抬梁式木质结构。他们在立柱上架梁，梁上抬梁，形成极为美观的造型。这样做不仅将整个高庙的高度提高了，而且达到了造型别致、空间增大的目的，且符合力学原理。陈永宽是个性格倔强的匠人，他秉性耿直，眼里揉不进沙子。在施工中他对工艺要求非常严，根本不允许在质量和工艺上有丝毫马虎。师徒的默契配合，使柱梁、榫卯的衔接十分精密，整个工程质量全部达到优良。因从外地请来了不少绘画、雕刻的匠人，所以高庙木质结构中的梁坊、斗拱、廊檐、悬瓜的构件上，人物、花鸟、鱼虫的雕刻栩栩如生，而且一些工艺及效果超过了中卫高庙。在这里值得一提的是陕西榆林来的雕塑大师，他们的雕塑手艺堪称西北一流。在雕塑高庙的佛像时，他们讲究技法和布局，将几十尊佛像的神态雕得极为生动，有的慈祥，有的狰狞，有的沉思，可以说神形兼备。绥德石匠也技艺非凡，刻出的石活疏密得当，朴拙中有灵性，灵性中有朴拙，得到灵武百姓的称赞。
修建高庙开工后，每日帮工的很多，上至县长赵旭东和商会会长赵文秀，下至平民百姓，有空闲时都来帮忙，给木工打下手拉锯，去瓦工脚手架上接砖，在地上搅拌泥浆。每天工地上人非常多，就连患眼疾的张耀庭厨师也放弃自己的生意不做，出来给工匠们做饭。郭创业看到修建高庙的愿望已成事实，更是欣喜若狂，歪着脖子，每天在工地上不停地走动观看，隔三岔五地将自己的拿手小吃“火烧子”送到工地，给工匠们充饥，受到工匠们的称赞。
灵武高庙经多方努力于1945年夏竣工。由于这次建筑高庙大胆起用了河北、陕西一带的民间能工巧匠，采用台基、木质结构相结合的构建方式，沿中轴线的两侧进行布局，围绕着最高建筑展开层次，达到错落有致、主次分明，使主建筑“三清殿”在众亭阁楼榭的烘托中显得格外高大壮观。
特别值得一提的是，这次高庙的修建汲取了历史上的一些教训，在高度、造型、防震等工艺方面进行了改进，同时采纳中卫高庙等古建筑的建筑结构优势，在雕塑、彩绘上精雕细刻，使高庙成为精美的古建筑精品。
高庙建成后，宁夏的一些著名书法家书写了不少书法作品，悬挂在高庙管理委员会的两间房子内，有的还被精裱在殿堂的墙壁上。书法家王芸的四尺行书中堂“鹅”字凝重古朴，端庄劲健；吴润章的隶书中堂质朴厚重，格调高雅；拔贡李玉鼎的小楷“杨状元四足歌”温文儒雅，恬静平和；拔贡唐万寿书写的“南天门”清雄厚朴，刚健豪纵。就连宁夏最高统治者马鸿逵闻知后也撰写了碑文，被勒石成碑后，立在了高庙的西边。
为了管理好高庙，1945年秋成立了高庙管理委员会，百姓们推荐郭创业为庙会会长。他的辛勤劳动和良苦用心，得到了灵武百姓的认可。
每年的农历正月十五日、七月十五日为传统庙会，前来上香及观光者络绎不绝，使灵武的庙会极为风光。
“文化大革命”期间，高庙又遭浩劫，台基下被挖空，改造成防空指挥部，拆下的木料全部用于各乡镇卫生院建设。一些上了年纪的灵武人还记得拆高庙那年，雷声震耳欲聋，狂风劲吹，雨点子砸地。也许是苍天对拆高庙的愚蠢行为的不满和震怒吧！在拆高庙的那段时间里，郭创业的儿子郭天寿坐在不远处，手中提着一只酒瓶，喝得酩酊大醉，不知他是为高庙的命运而惋惜，还是在思念其父郭创业等老一辈人当年付出的心血。面对这样的政治风波，他不敢出声评论，只能借酒泄愤，任泪水滴落，最后被妻弟李青海慢慢地劝了回去。他一步一回头，那种凄凉，那种情景，很多人看见都摇头叹息。曾建造高庙的很多工匠的后辈人都站在远处，看着高庙被拆的情景，脸上的表情非常凄惨。因为高庙渗透着他们先辈的汗水和辛勤，这里面有他们的聪明才智，有他们的理想与信仰。
1980年，有关部门利用了高庙台基，在上面安装了电视塔。改革开放后，随着党的民族宗教政策的落实，灵武人赵杰等人联名上书县委、县政府，要求重新修建高庙。为此，时任县委书记的赵金山数次召集常委会专门讨论此事，县委领导统一思想后，形成文件上报自治区文化厅。1991年3月，经自治区文化厅批准，依原貌重建高庙。消息传出后，灵武人欢欣鼓舞，社会各界人士踊跃捐资，一些工匠又云集灵武，一些老人不计报酬参与高庙的建设。购石料、雕栋梁、精彩绘、细塑像，各路人马各显身手。赶时间、抢速度、抓质量，高庙很快又重显雄姿。1993年8月，重建工程竣工。这次高庙重建本着依托原貌、高于原貌，高标准、严要求的原则进行施工。高庙管理委员会委托西安古建筑设计院进行设计，使新建的高庙更显得雄伟庄重、气势壮观。在高庙设计中，原县政府副县长陈玉祥拿出珍藏的20世纪40年代建造的灵武高庙照片，供设计者参考。在这个基础上，设计院在一些细节上进行加工处理，使今日的高庙在抗震、防火等方面更加完善。现在高庙占地面积5000平方米，庙宇建筑面积2000平方米，正殿高30米，台基高11米，整体庙宇坐北朝南。主要建筑有南天门、观音阁、无量殿、王母殿、玉皇殿、三清殿，两侧有钟鼓楼、文昌阁、武昌阁、天王殿等11座建筑物。走近高庙直接映入眼帘的是高庙山门，山门用青砖精雕着一副对联，上联是“慈心劝众生诸恶切莫作”，下联为“悲愿救迷津众善必奉行”，横批为“护国安民”。两道偏门的上方刻着“镇恶”、“扬善”两方警示砖匾。进入山门，迎面是雄伟的庙宇群，沿33级台阶而上为庙宇正门，上悬“南天门”匾额。门两侧有一副对联，上联是“梅开二度高庙重现雄姿”，下联是“人聚三秋灵州又添异彩”。南天门两侧有两座偏殿，内塑灵官、天王诸神佛。过南天门，进二道门入天井为庙宇中楼，天井上层是观音殿，通过甬道达北部正殿。两侧各有两座独立庙阁楼宇，东侧为钟楼、文昌庙，西侧为鼓楼、武昌庙。正殿为六角三重檐，四面坡顶分三层叠合，是整个高庙群体中规模最大的殿。正殿门有一副对联，上联是“殿宇辉煌人杰地灵千古迹”，下联是“神功浩荡物阜民安万年昌”。正殿共分为三层，第一层为大雄宝殿，塑有释迦、如来诸佛。正殿后有夹道，有东西两木梯可登上二层。二层殿内塑玉皇大帝诸神。二层与观音殿有木道相通，两侧有木梯可上三层。三层殿内塑有太上老君、元始天尊、道德天尊神像。整个高庙的主要建筑都位于中轴线上，层层相距，逐步增高。辅助建筑位于两侧，均衡对称，将各个殿堂衬托得庄重大方。建筑群亭廊相连，飞檐相啄，回环曲折。门楼雕刻图案精美，楼顶藻井构图色彩艳丽。壁面名人书画墨气淋漓，各具千秋。一些历史传说绘画栩栩如生，想象丰富，形象生动，笔法细腻，其艺术价值和工艺水平大大超过了20世纪40年代所建的高庙。
进入21世纪，在灵武市政府、高庙管理委员会和社会各界人士的大力支持下，2000年至2004年，共集资近50万元建造了高庙山门、东边佛殿堂，并在庙宇上修东、西走廊各20米，台下东、西长廊各40米，在四周栽植松树、银杏、花槐、碧桃等树木花卉。2001年，市建设局积极与各方面协调，拆迁了高庙两侧几十家住户的民房。公共事业管理局的400名职工清理了高庙前的废墟，在庙前铺设了花砖、建造了花坛；将16432平方米的院落内的杂土全部挖去，换上有机肥和黄土，广栽树木，种植草坪。经过整修，高庙绿化面积达8716平方米，栽种树木1391株，成为一座环境幽雅的公园。经过数年的精心管理，公园内树木葱茏，绿草如茵，将高庙烘托得更加壮观美丽。
登高远眺，黄河蜿蜒北去，千顷稻浪，果林葳蕤，花果飘香。夜晚霓虹灯闪烁，高庙以又一种优美的姿态耸立于星光闪烁的夜空。看着今日的高庙，人们感慨不已：多少次被毁，多少次又被重建。高庙是灵武人的骄傲，也是灵武前进发展的见证。