军事围困的态势形成以后，徐向前司令员要求部队一方面对太原守敌展开了政治攻势瓦解斗志。据统计，至1949年3月底，共瓦解敌军12000人。另一方面，针对四大要点争夺战中暴露出战场侦察不周密、步炮协同不顺畅、连续攻击动作不迅速、不善于插入敌纵深，不善于切断敌退路及包围迂回等弱点，开展战场练兵。徐向前及前委提出了10条战术原则：充分准备，精心计划；进攻防御，都要精通；军事民主，服从命令；主要方面，力量集中；隐蔽突然，敏捷机动；坚决顽强，果敢勇猛；发挥爆破，步炮协同；插入切断，连续进攻；互相援助，一致行动；全歼敌人，建立战功。依据这10条战术原则，各部队分别查找分析自身在四大要点争夺战中的问题，尔后有针对性地展开训练。在战术方面，中高级指挥员主要是在周密侦察的基础上，结合沙盘讨论研究作战方案。部队主要训练连排战术，进行外壕战、登城战、巷战及各种想定训练。在技术方面，连队除80%的人学会爆破外，着重训练外壕爆破和城墙爆破，炮兵分队主要训练间接射击。此外，部队还结合各自的战斗任务，以各种形式进行阵地练兵，或以敌军阵地为目标，演练进攻战斗的战术动作，或以敌军碉堡的射孔为目标训练射击，并通过冷枪运动、神枪手运动，使部队战术的学与练、练与用充分统一，一举两得。就这样，在整个太原城的周围，徐向前领导第一兵团开展了轰轰烈烈的大练兵运动，声势浩大，军威大震。经过100多天的战场练兵，部队的战术技术水平大为提高。与此同时，部队也奉命实行整编。第一兵团改称为第十八兵团，徐向前仍任司令员兼政治委员。该兵团原第八纵队、第十三纵队、第十五纵队依次改为第六十军、第六十一军、第六十二军。华北炮兵第一旅改称为炮兵第三师，第七纵队改称为第七军。总之，经过围城休整，部队整编，面貌为之一新，充分做好了最后攻克太原的战役准备。
平津战役后，华北局势急转直下，太原成了孤立无援的孤城。中央军委决定调第十九兵团、第二十兵团和第四野战军炮兵第一师西进，与第十八兵团等部一起会攻太原。1949年3月底，各路部队先后到达太原城下，这样，我攻打太原的总兵力达到了3个兵团、10个军、36个步兵师，另3个步兵旅、2个炮兵师，共32万余人，拥有各种大炮1150余门。为统一指挥并协调各部行动，中央军委决定：成立太原前线司令部，以徐向前任司令员兼政治委员，周士第为副司令员，罗瑞卿为副政治委员，统一指挥第十八兵团、第十九兵团、第二十兵团，以第十八兵团司令部为太原前线司令部：成立太原战役总前委。徐向前为总前委书记。太原战役的一切准备就绪。
第十八兵团司令员兼政治委员徐向前（左二）等在太原前线合影。
这时的阎锡山，见太原城外重兵压境，深感大势已去，无力回天，遂将太原的守城任务交由孙楚、王靖国指挥，自己于1949年3月29日乘飞机从空中逃跑。为负隅顽抗，孙楚、王靖国等将现有的第八总队、第九总队、第十总队残部，保安团、民卫军等杂牌部队编为“正规军”。同时还强抓市民、学生组成所谓的“铁血师”、“坚贞师”等，使太原守城的杂牌军仍有近10万兵力，并拥有各种火炮900门。其具体的兵力部署是，以韩步洲指挥第三十三军防守城北；以温怀光指挥的第十九军防守城东北；以刘效曾指挥的第四十三军防守城东南，以高倬之指挥的第三十四军防守城南；以赵恭指挥的第六十一军及“坚贞师”防守城西；以戴炳南指挥的第三十军及第八十三师位于城内及城垣附近，担任机动任务；以“神勇师”、“铁血师”守备城垣，以所有的炮兵组成了10个炮兵群，分别配置在双塔寺、大东门、黄家坟等处，企图以外围部队节节抵抗，消灭我军有生力量，然后在城郊诸要塞与我军展开决战。
根据敌军的兵力部署和作战企图，徐向前司令员所确定的战役指导方针是，首先集中主要兵力，“割裂太原外围之敌，争取歼灭其一部、大部或全部，占领攻城有利阵地，尔后集中全力攻城”。3月30日，总前委将太原作战方案上报到中央军委：“第一步打外围据点，争取歼灭敌人六至八个师，占领攻城有利阵地。第二步攻城”。其具体部署是：第二十兵团及第七军第19师由城东北及西北突破，“切断北机场以北之敌而歼灭之”。第19兵团及晋中军区3个旅兵分两路，一路由城西南汾河以西攻击，配合第二十兵团“切断河西之敌而歼灭之”。另一路向城西南汾河以东攻击，在第十八兵团一个师的配合下，“切断双塔寺与大营盘以南之敌而歼灭之”。第十八兵团及第七军主力于城东，第一步暂不攻击，而以佯动配合南、北、西等区作战，待以上地区攻击得手和被切断之敌基本被消灭时，即以十八兵团及第七军由城东大东门方向，十九兵团由城南首义门方向，二十兵团由城北工厂区三面攻城，晋中部队留河西配合攻城。全线发起攻击的时间定于4月15日，争取半个月攻下太原城，但仍作一个月之作战准备。以上方案彭总已同意。4月3日，中央军委复电徐向前、周士第、罗瑞卿：“（一）同意寅陷电所述太原作战方案。（二）同时请你们注意和平解决的可能性，如有接洽机会应利用之”。
根据中央军委的指示，徐向前决定派解放过来的原阎锡山第七集团军司令赵承绶、炮兵司令高斌和第三十三军参谋长曹近谦进城与敌试谈，没能达到预期的目的。中央军委电示徐向前：“你们觉得何时发起打太原为有利，即可动手打太原，不受任何约束”。据此，徐向前决定总攻太原的时间定为4月20日。
20日，总攻太原的战役打响了。十几路攻城部队先后突破了敌军前沿，继以勇猛的作战行动向纵深发展进攻，敌军的城外防御体系顿时不堪一击，土崩瓦解。
第二十兵团及第七军的2个师于20日2时在城北兵分3路发起攻击。其中，第六十八军及第七军第十九师由城西之兰村沿汾河两岸直插新城、新店、芮城以东之汾河大桥；第六十六军沿同蒲路南下，先后占领皇后院、七府坟等地；第六十七军及第七军第二十师由城东北之西岭向西攻击，占领了丈子头，牛驼寨等地。当日夜即肃清了城北十里铺以北的敌军。21日，3路部队又攻占了城北工厂区及享堂村地区。
第十九兵团及晋中军区3个独立旅于20日5时在城南也分3路发起攻击。其中，第六十四军及晋中军区部队沿汾河两岸向北突击，攻占了大小王村，并迅速进至万柏村地区，与第七军第十九师会合，接着包围歼灭了汾河以西敌军：第六十五军沿汾河东岸向北攻击，先后攻占了杨家堡、老军营、西寇村、大营盘，直逼大小南关；第六十三军及第六十二军第一八六师在城东南肃清了双塔寺以南及以东之敌，21日占领了面粉公司、民众市场等地。
第十八兵团和第七军主力于20日下午在城东发起攻击，首先以炮火袭击了太原“绥靖公署”并压制大东门等地敌军炮阵地，晚18时部队展开攻击，先后攻占了剪子湾、大把沟、郝家沟、黑土港、大东关等地。
各路攻城部队争先恐后，勇猛攻击，战至21日18时，太原城周围除双塔寺、黄家坟两点外，其余敌军全部被肃清。22日，第六十七军与第七军第二十师又攻克了黄家坟，第六十三军也攻克了双塔寺。至此，太原城外围作战胜利结束，共歼灭敌人12个师。
徐向前考虑，最后的攻城战斗，还是应尽量减轻太原市人民生命财产的损失，用和平的方式解放太原为上策。于是，太原前线司令部于22日，对守城的敌军发出了最后通牒，但顽固的敌军拒不投降。因此，徐向前决定实施武力攻城。24日5时30分，攻城部队的1300多门火炮向太原城发起了猛烈的轰击。随后，第十八兵团及第七军主力由城东的大东门，第十九兵团由城南的首义门，第二十兵团由城西北方向发起攻击。各部队或以连续爆破的手段炸开城门或城墙，或使用云梯登城。至7时40分，12路攻城部队从四面八方攻入太原城，并顺势向纵深迅猛穿插，将城内的防御体系割成数块，互不支援，分块围歼，战于10时太原城被全部解决。敌军无一漏网。太原战役胜利结束。
太原战役从1948年10月5日开始，至1949年4月24日结束，历时6个多月。共歼敌13.5万人，缴获各种火炮6283门，各种机枪6943挺，彻底结束了阎锡山在山西的统治。
太原战役，是典型的大城市攻坚战。我军所以取得了以伤亡3.2万人的较小代价，全歼敌13.5万人的胜利，在战役指挥方面的主要经验是：第一，善于抓住战机，提前发起战役。给敌人以沉重的打击，争得了战役主动权，并形成了有利的战场态势，为后续作战奠定了基础。第二，制定了正确的战役指导方针。在围城期间，还采取了围困与瓦解相结合的作战方针，逐批消灭了敌人的有生力量，攻占了战役战术要点，又为尔后的作战创造了有利条件。在总攻太原时，又采取了集中优势兵力的作战方针，在力量对比上占有绝对优势，并采取了首先分割包围外围敌军，争取歼敌大部的战法，实践证明，这一方针是有效的。第三，周密部署。徐向前能根据太原的地理特点和敌军的兵力部署，首先攻占四大要点，扫除城外的主要障碍，同时控制了飞机场，这就从地面和空中断了敌人的外援和逃跑的通道，为战役的胜利奠定了基础。在总攻太原阶段，实施四面围攻的兵力部署，多路突破，连续突击，给敌施加了最大的军事压力，并不给敌以喘息之机，从而一举攻克了太原。这些经验，充分体现了徐向前用兵指挥艺术的高超。