今天的灵武县城建于明代。据清代《嘉庆灵州志迹》记载，明代洪武十七年（公元1384年）和明宣德三年（公元1428年），两次因黄河东移，河岸塌陷，危及城内百姓家园，地方官员新选城址，将城迁移到城北7里外建造，城建好后，因城郭太小，又于景泰三年（公元1452年）加以展扩。灵武城墙的周长近4000米，墙高近10米。四周有护城河，河深约3米，宽约16米。明万历五年（公元1577年），巡抚罗凤翔动员士兵、百姓用砖石将城墙包裹，在原来三个门的基础上又增加了一个门。城门上的石刻匾额很有名，东门是“澄清”，西门是“孕秀”，南门是“弘化”，北门是“定朔”。四门都建有城门楼子，气派别致，非常壮观。城门楼用料也比较讲究，木料是从外地运来的，用粗大的落叶松、樟子松做成立柱。城门用厚实的木板做成，个别部位用铁皮打着铆钉。这样沉重的城门，需几个人才能打开。历史上唐肃宗的登基典礼，人们传说就是在灵州城南门楼上举行的。但由于自然灾害和战火的毁坏，史料上所记载的唐肃宗登基的南门城楼早已不复存在了。明代建的这座城门楼经过罗凤翔等人的修补，才显得高大壮观。城墙4个拐角建有角楼、环楼、门台和钥城。城墙用条石砌筑基础，青砖裹砌外壁。每块城砖长45厘米，宽20厘米，厚10厘米，重3．5公斤。城墙基石为红砂石打制，每块长1米，宽40厘米，高30厘米，约重80公斤。东城外挖筑护城河，河深约3．3米，宽近10米。城的西、北、南有大片自然湖，形成了天然的护城河。城内有4条大街8条小巷，沿袭了宋代县城街道的建筑风格，易辨别方位，但存在着一个缺点，街道拐角为90°直角，视线不好。主要街道均用石条砌筑，缺乏平整度。
最后一次的筑城，根据《嘉庆宁夏新志》记载是景泰三年。“洪武十七年，以故城为河水崩陷，惟遗西南一角，于故城七里筑城；宣德三年，城淹于河水，又去旧城东北五里筑之；景泰三年，增筑新城。”由此得知自洪武十七年始60年间，灵武城3次改建。灵武历史上洪水、地震频繁。根据史料记载，明天启元年（公元1621年）水患淹城；清乾隆三年（公元1738年）地震毁城；1920年海原大地震，灵武虽不是震中，但震度不小，造成城垣毁坏。
鉴于灵武的地理位置特殊，每次城墙毁坏后，灵武主持军事和政治的官员都非常重视维修城垣，加上百姓极力支持，每次城墙损坏后都能立即修复。
灵武城墙在宁夏的历史上是很有名的，其砖包墙工艺在操作上是非常有讲究的。具体做法是将当地的糯米熬成汤，和白灰掺和砌砖墙。这样砌成的砖墙非常坚固，所以这种建筑方式在古代广泛使用，如赵州桥、西安城墙都是用这种方法砌筑的。灵武城外修筑着钥城，墙上有堞墙，上有发射弓箭的箭孔。城墙上面很宽，可以行走战车、战马。站在高处看灵武城，城郭方正，南北钥城如同巨爪，老年人把它形象地称为“金蟾扑岸”。
“文革”期间在“深挖洞，广积粮”的浪潮中，城墙砖被撬走修建了地道，土被生产队挖走垫了猪圈去沤肥。东门后街有一个杨姓青年就是在挖城墙时被倒塌下的城墙砸死的。经过几十年人为的破坏，灵武城墙几乎被挖光，只剩下西北角处的一点残垣，令人非常惋惜。记得20世纪60年代，城门洞完好，当时我们还在上小学，常由老师领着去捡麦穗。每次走进城门楼洞时，班长起个头，大家边唱歌边跺脚，门洞里回音很大，发出一阵嗡嗡声。我和一些伙伴到了十三四岁的年龄，上城墙时从西北拐角往上爬，即惊险又刺激。真可惜，完好的城墙毁于动乱之中。现在灵武城那完整的城墙，只能存在50岁以上的人们的记忆中了。
20世纪60年代以前，人们在灵武境内经常能看到一个个土寨子，这是在清末及民国年间，兵荒马乱，盗贼横生，土匪抢掠，民间极不太平，一些有钱绅士和驻扎西北的清军将领，为抵御盗贼土匪侵犯而修建的寨子。土寨子的围墙采用当地黄土，一层层夯实加高，墙高7~8米，厚3~4米。有的还用土坯在墙外裹砌一层，将土墙打成一个大院子，仅留一个门，晚间紧闭，有家丁把守，院内盖房居住，并建有粮仓、马厩等。上个世纪50年代前，灵武的寨子很多，比较有名的是龙二石家寨子、清水营闵家寨子。石沟驿建有民团黎维清、黎维新的寨子，这个寨子很有特色。它建于石沟泽的中心，土墙极厚。这一带主要是沙土，难以夯实。黎维清弟兄从远处拉运黄土填压夯实。这种土质带有黏性，经几十年风化还非常牢固。崇兴有一个非常大的寨子，也属于土城，里面建有清代将领石怀玉等人的小寨子。特别是一个李姓清将的寨子非常牢固。解放初期，我父亲在这一带搞土改，曾去这个寨子勘查。据他讲，这个寨子很高，搭上梯子上墙都很费事。这里还有一些建于民国时期的寨子，开明人士何义江的寨子位于现在崇兴镇的东北拐角，旁边有丁生奎的寨子；马明连的寨子在崇兴镇的西北角，崇兴镇的正中部位是石生岐的寨子。为什么崇兴一带有这么多的寨子？据说，解放前这里是商贾云集之地，更是灵武的产粮区，富户大户很多，故备受盗贼注目，为防盗贼抢掠，富户大户纷纷建筑高大坚固的寨子。县城北门外的张江是城北有名的地主，家中果园、牛羊甚多，他还兼作一些贩运生意，故家中极为富有。他的寨子建在花果园中，寨前有一棵百年古树，夏日树阴极浓，树阴下有一口井，水清冽，水量极大，可以说是风水宝地。磁窖堡有民团刘杰、刘清的寨子。磁窑堡一带多为沙漠，黄土极少，为了建此寨子，刘杰、刘清不惜代价从远处拉运黄土修建，从中可以看到刘家弟兄的经济实力。郝家桥胡家堡有3座寨子，是苏德运家的，人们称其为“连三寨”。
这几个寨子也叫“五七寨子”，因为寨子长70米、宽50米。寨子的结构有些独特，进门后是一道很大的影壁墙，上面用青砖雕刻着一个大福字，东边第一个院落为账房先生和长工头居住的厢房，西边是厨房、仓库及牲口棚，向北第二个院落为花厅、客厅，是小辈人住的地方，向北第三个院落是长辈居住的房屋和会客厅。坐北向南的房屋为祠堂，供奉着寨子主人先辈的神主牌位。这些寨子在那些动乱时代起的作用不小，一方面为寨子里的人家的财产生命提供安全保障；另一方面由于它们墙高土厚，可以抵挡寒流风沙的侵袭，故住在里面冬暖夏凉。这些寨子是典型的西北地区土建筑。
在上个世纪50年代、60年代填湖造田的浪潮中，灵武境内绝大多数土寨子被夷为平地。现在磁窑堡、临河等地还有些残破的寨子，但由于年久失修，早已残痕累累。距市区35公里处的横城，是明代正德二年（公元1507年），由右都御史杨一清负责修筑的屯兵城堡，清代两次进行维修。城堡西临黄河，北靠长城，属囤重兵之城堡。在动乱时期被破坏，砖石被挖走，墙壁崩塌多处。现列为市重点文物保护单位，故依旧屹立于黄河之滨。