唐武德四年（621年），魏征回到长安后，唐高祖已经基本上控制了全国的局面，初步实现了统一。敌对势力只有江陵地区的小国肖铣政权和窦建德的故将刘黑闼在河北边境的游击部队，唐朝已经算是夺取了天下。朝廷中，自建国起至今的4年里，相继受到唐高祖信任和重用的，多半是追随他在太原起兵的故吏和旧友，如裴寂、刘文静等，也有一批原隋朝的有名文臣，如萧瑀、窦成等，另外，登上宰相位置的重臣还有封德彝、陈叔达、杨恭仁、宇文士等人。当然，真正掌握大权的，除唐高祖外，就要数太子李建成和秦王李世民了。李建成经常在首都长安，辅佐李渊处理军国大事。次子秦王李世民却常领兵出征，不断平定割据势力，镇压各地农民军，以扩大唐帝国的占领区，功劳巨大，威望甚高。但李建成是长子，按照宗法制度，他应是皇帝李渊的权力继承者。秦王李世民既有战功，野心也大，加之他富有极高的政治才能，所以也想当皇帝，因此他们兄弟间争夺皇位的斗争越来越激烈。在双方斗争中，齐王李元吉是站在太子一边的。他们双方为了自己的利益，都积极采取措施壮大自己，巩固自己，瓦解对方，打击对方。首先，他们各自都拉拢朝中高级官员，争取他们的支持。在宰相里面，裴寂和封德彝支持太子，而陈叔达和萧瑀却支持李世民。在地方上，太子李建成和秦王李世民也都设法培植自己的势力，李世民在平定王世充和镇压农民军时，积极招纳山东豪杰和富有政治经验的学者文人，如房玄龄、杜如晦、温彦博、李绩、高士廉、虞世南、褚亮、姚思廉、李玄道、蔡允恭、薛元敬、颜相时，苏勖、于志宁、苏世长、薛收、李守素、陆德明、孔颖达、盖文达、许敬宗等。太子建成在河北作战时，也极力拉拢罗艺，利用他在河北发展势力。因此，在中央政府中，太子建成处于有利地位，而在地方势力和人才储备上，则李世民要胜过一筹。
秦王李世民于武德四年（621年）平定窦建德，凯旋回京后，政治威望更加提高了。唐高祖为了表彰世民的丰功，特地加授他为“天策上将”，位在王公之上，并且领司徒，兼尚书令。而且在当年十月开府置官属，收纳了秦王府一大批心腹亲信。没过几天，又在天策上将府开馆延士，将上述一大批著名文人学士收归自己帐下，这就是秦王府文学馆的“十八学士”。太子建成见到李世民相继实行的举措，分外敏感和不安，他感到了来自秦王府的巨大威胁，在争夺人才和收买人心上，他已经知道自己处于劣势。于是，李建成开始格外注意物色和收罗人才。恰在这个时刻，魏征来到了长安，正在无所归依的情况下，被用人心切的太子建成马上挖了过去，魏征经过一番可能性和必要性的审慎考虑后，便愿意投靠太子。太子非常高兴，立即召他为太子洗马，负责管理太子东宫的经籍图书和文秘工作。太子洗马在唐代宫制中，属于太子东宫官属，由詹事府管理，詹事府各级官员多以儒臣兼领，虽然在名义上有辅导太子之责，实际上与翰林院的性质没有什么太大的区别，专以用来督导文学侍从之臣，因此，詹事府没有什么具体职掌，空有府名，并不成为一种真正意义上的机构。詹事府官员有许多种名称，由高往低依次是：詹事、少詹事、左春坊左庶子、右春坊右庶子、左春坊中允、右春坊中舍人、左春坊赞善大夫、右春坊赞善大夫、司经局洗马、詹事主簿、詹事府令史。可见洗马一职在太子东宫官制系统中，地位很低微，大概只能够得上从五品，属中下级官员之列。可是，数度作为俘虏和降臣的魏征，在自己极不得志的时候，被太子建成召用，哪怕官职不高，仍然是有感激之情的。何况，作为一介寒儒，又是降臣的身份，即使不满足这低微闲散之职，又能怎么样呢？他没有权力和资格挑三拣四，能有人要他，安排他就算很幸运的了。当然，魏征虽然有凄惶之感，但他并不是没有政治头脑和经略抱负之辈，更不是有个栖身之地就浑浑噩噩度日混事的人，他尤其清楚唐朝帝国的政局态势和上层人物间的权力斗争以及种种人事纠葛和矛盾。简言之，魏征虽然任太子府洗马之职有被动无奈的意味，但他是以清醒的政治头脑和充分的思想准备应职上任的，从这一点说，魏征投靠太子李建成仍然是带有主动选择的性质。那么，魏征是如何考虑的呢？
当时的政局态势是，李渊为大唐皇帝，他有三个嫡出的儿子，即长子李建成、次子李世民、小子李元吉。高祖建唐称帝之后，即立长子李建成为太子，次子李世民为秦王，小子李元吉为齐王。按照嫡长子继承皇位的传统，李建成是当然人选，这好像是没有什么争议的问题。但在太原起兵、统一全国的一系列战争中，李世民的功业远远超过了哥哥建成，而世民本人又气度不凡，具有远大的政治抱负，他不满足于仅仅做一个诸侯亲王，必然要力图登上权力的顶峰。至于齐王元吉，无论从身份、功劳、能力等哪方面看，是不可能有资格参与最高权力的争夺的。因此，李建成和李世民之间势必会展开一场争夺皇位继承权的殊死斗争。这场斗争是当时唐朝高层政治活动的主旋律，任何人自觉或不自觉地要牵涉和卷入到这场斗争中来。
在这场大搏斗中，以李世民为一方，以李建成、李元吉为另一方，形成了对垒形势。那么魏征为什么要选择李建成这一方呢？其原因是：
第一，建成早已立为太子，高祖李渊虽然这几年在建成和世民的选择上常常处于两难之间，但他毕竟没有明确表示过废掉建成而另立太子的意图，而嫡长子继位又属名正言顺，所以一般无特殊政治背景的人，把赌注下在李建成一边，是非常自然的，而且觉得把握更大一些。
第二，李世民手下虽然有很多骁将精卒，但东宫和齐王府联合起来，与秦王府较量，再加上李渊倾向于太子，他们在力量上应处于绝对的优势。
第三，据史料记载，站在建成、元吉一边的还有其他许多小王的母亲，如高祖正宠爱着的张婕妤、尹德妃等。《通鉴》说：“（李渊）晚年多小内宠，小王且二十人，其母竟交结诸长子以自固，建成与元吉曲意事诸妃嫔，谄谀赂遗，无所不至，以求媚于上。”这部分后宫势力，是绝对不可轻视和忽略的。
第四，魏征是在黎阳出差时落入农民军首领窦建德手里的，并且在窦的手下干了近两年。而窦建德作为河北地区的最大政治军事势力，是唐朝统一天下的过程中最大的对手和障碍。唐朝出关东进的主要敌人就是窦建德，唐政权与窦建德政权之间进行的大决战——虎牢关战役，是隋末战争中最大的战役之一，而唐朝进行这个战役的指挥者正是秦王李世民。换句话说，消灭窦建德、荡平河北，正是李世民的最大功勋和主要政治资本之一，那么，作为窦建德的臣下，魏征怎么也不敢想象他会被李世民所容纳。即使李世民再怎么胸怀宽广，充其量对魏征不计较而已，绝无信任和重用之可能。而李建成与魏征之间就不存在这种历史的芥蒂和隔膜，况且李建成与李世民在利害关系上已同水火之势，那么李建成就按照“敌人的敌人等于朋友”这一常人所固有的思路，自然而然地把魏征拉了过来，并且“甚礼之”了。
第五，封建正统伦常观念的作用，使魏征做出拥护太子的选择。魏征出身于一个传统的封建士大夫家庭，自幼受儒家学术的培育熏陶，他所认定的天地伦常秩序，无非是应该君君、臣臣、父父、子子、兄兄、弟弟、夫夫、妇妇、师师、徒徒而已。李建成是嫡长子，而且确已被立为太子，他又没有犯什么大的过失，皇上没有废除之意，那就应该遵守这个既成的决议，并且去维护他。而不能凭谁的功劳大一点，就要谮越逾矩；谁的能力强一些，就可以不服从现存秩序而造反。否则，那就跟隋朝的炀帝杨广的行径没有什么两样了。杨广当年就是阴谋勾结隋文帝的宠臣越国公杨素，收买太子杨勇的亲信姬妾，设计使隋文帝废黜了太子杨勇，从而夺取了皇太子的地位，然后又乘隋文帝病重，与杨素同谋，派亲信杀害了文帝，登上了帝位，爬上了权力的顶峰。这种害兄弑父的形象，不仅仅只是魏征的道德观念所根本否定的，恐怕一般平民百姓都会认为是大逆不道的禽兽行径。所以，只要不是李世民的特殊圈子中人，谁都会在道义上站在太子李建成这一边。
第六，不管魏征自己愿意与否，他都无法与李世民阵营联系在一起。一方面是由于魏征没有任何关系和渠道进入秦王的圈子，另一方面是秦王府没有用他的必要性。李世民各方面的人才都很多，而且质量均很高，关系又极深厚可靠。且不说完全令秦王放心的长孙无忌、高士廉等人，他们分别是李世民的妻兄和舅父，当然是最可信赖的人。即使没有这层亲缘人际关系的其他文士武将，也个个与李世民的关系非同一般，像房玄龄、杜如晦、尉迟敬德，程知节、段志玄、侯君集等，说他们是李世民的“死党”，一点也不夸张和过分。人才济济而且渊源深久的秦王集团，也就根本不会用也用不着魏征这种既陌生又平凡的普通文人。
魏征就这样身不由己地卷入了唐朝最高权力斗争的漩涡之中。这场斗争由唐高祖武德四年（621年）拉开序幕，到后来愈演愈烈，直至武德九年（626年）发展成为宫门喋血的武装政变，长达5年之久。
魏征进入太子东宫之后，按照他的性格和为人处世原则，开始了他兢兢业业的本职工作，而且他不怨不尤，在宫中的司经局里，将太子的所有图书典籍整理收拾得有条不紊，随时恭候着太子的阅读和查询。短短的几个月后，宫中图籍一扫封尘，灿然可观。李建成对魏征的勤勉和能力，十分欣赏，由于魏征的吸引，原来并不很爱看书的太子，也喜欢上了这窗明几净的图书室，喜欢上室内宁静雅致的气氛，更喜欢上魏征的渊涵睿智的风度和使人深刻明智的谈吐。魏征自知官微位小，在太子府地位上不可能经常陪侍太子左右，更难以参加太子府的重大决策。但“士为知己者用，女为悦己者容”，如今太子将我招至麾下，他就是我服侍和拥护的主人，为他服务，为他操心，为他出谋划策，就是我们当文臣的分内职责。所以，只要太子来到司经局，魏征总是调整精神，全身心投入地接待他。日理万机而且忧心忡忡的李建成，当然不是来这里优哉游哉闲翻古书的，他是想从魏征这里获得一些应付和操纵当前政局的方略和技能，满腹韬略、博通经史的魏征当然不会令太子失望，况且他年已40，老成持重，严谨真诚的性格和知无不言、言无不尽的作风，更使太子大生好感，日益信任。魏征的学问很深，思谋也很丰富，但他发言说话从不漫无边际地一味炫博夸饰，而永远是针对现实面临的矛盾主题，进行分析论证，然后得出明确的结论。魏征为建成献计献策，尽心竭力，堪称至诚。魏征为建成做了两件大事，均具重要意义，直接关系建成的成败乃至存亡。
第一，答情势之问。
武德四年（611年）十月，李渊以李世民战功显赫，历代所设置的官职都不足与他功绩相称，特以李世民为天策上将并兼陕东道大行台尚书令、司徒。天策上将位在王公上，陕东道大行台管辖山东行台、总管府及各州，李世民便是陕西以东河南、河北（这是唐代经济、文化最繁荣的地区）的最高军政长官，地位接近太子，实际权力则远远过之。不仅如此，李渊又特许秦王李世民、齐王李元吉成立护军府（左、右各三，凡六府）、左右亲事府、帐内府。亲事府、帐内府掌仪仗、陪从，诸王均有，而护军府是战斗部队，仅世民、元吉有之，这对建成构成直接威胁。这时河北又发生了刘黑闼起兵之事，又为世民、元吉带来再立战功的机会。
刘黑闼原是窦建德部将，以善观时变、作战勇猛著称。他常潜入敌阵侦察虚实，或出敌不意，趁机奋击，多次取胜并有所缴获，故在军中号为神勇。窦建德失败后，他躲藏在漳南（今河北故城东南）老家，闭门不出。后窦建德被押回长安斩首，接着李渊又下令召窦建德旧部范愿、董康买、高雅贤等进京，引起他们震惊恐惧，互相商量说：“王世充投降唐朝，他的将相都被消灭，我们到长安，也定不会有活路。近十年来，我们身经百战，早当死了，现在又何必吝惜这侥幸保全的生命，何不用它来干番事业呢？再说夏王（窦建德）战擒淮安王李神通，待以客礼，唐得夏王即将其杀害。我们都是深为夏王器重的，如果不替他报仇，也无脸见天下的英雄好汉。”于是决定拥戴刘黑闼，起兵漳南。霎时间，窦建德旧部群起响应，李渊以淮安王李神通为山东道行台右仆射（行台副长官）率兵讨伐，反遭大败，兵马军资损失三分之二。刘黑闼攻城略地，数月之间便全部恢复了窦建德原来控制的地区。
武德四年（621年）十月，世民授天策上将，即奉命与元吉出征，同月，世民兼任左、右十二卫大将军，又完全掌握了禁军。武德五年（622年）正月，世民、元吉率军到达河北，攻下洺水县城（今河北曲周东北），与刘黑闼军在洺水河对峙。李世民再次运用对付窦建德的战略战术，先按兵不动。两军相持60余日，黑闼粮尽，被迫决战。李世民事前派人在洺水上游筑堰阻水，待黑闼来攻，决堰放水。黑闼突遭水淹，溃不成军，溺死数千人，黑闼与范愿等率300骑兵逃往突厥，山东又重新回到唐朝管辖之下。
李世民再建功勋，使建成越发不安，他问魏征：山东能安定下来吗？这一发问意味深长，反映了这时建成矛盾、焦虑的复杂心态。建成当然希望山东尽快安定、永远安定，毕竟他是太子，国家未来的主人。然而，地方无事，世民就会回到朝廷，他再三立功，位高权重，野心勃勃，部属跃跃欲试，仅他一人就是严重威胁，又有元吉时常跟随他出征，关系非同一般。世民、元吉联合，自己的储君位置会不会被人取而代之，自己该怎么办呢？任其自然，听天由命。不！他不甘心，他要抓世民的把柄，主动出击。建成暗暗思忖，世民作战勇猛，战功赫赫，无可求疵，但杀戮过分，未免残暴。往日屠夏县（今属山西）；去年杀王世充已降将佐，处死窦建德，引起惊惧，逼反刘黑闼等；今又独断专行，对刘黑闼部将大肆镇压，这能成功吗？如果不成，这岂不是打击世民的绝好依据？所以他才这样问魏征。魏征自然清楚建成所问的真正意图，他的回答既明确又肯定而且聪明。他说：刘黑闼虽然失败，但杀伤太过分，黑闼将领凡逃亡的都被公布姓名，宣布处死，他们的妻儿也被俘虏，这些人想投诚都不可能。尽管有赦令，也还是一经抓获便遭杀戮，现在看来，如果不是大量饶恕宽容，恐怕黑闼余党重新啸聚在所难免，山东的老百姓不可能得到安宁。魏征答问，表面上只讲情况，不及其他，而实际上却正中要害。事实表明，李世民妄自尊大，无视皇上诏令，大肆杀戮，必将引发强烈反抗，这正好给建成提供了绝好材料，可以据此打击世民。看来建成确实将世民的所作所为及时上告了，所以当世民击败黑闼后正引军南下进攻响应刘黑闼起事的兖州（今山东兖州市）刺史徐圆朗时，被李渊紧急召回京师，待他亲自作了解释才令他再去山东。徐圆朗尚未完全平定，李渊就让他班师，这个中微妙，当与建成的动作有了成效有关。从此之后，一直到玄武门之变，4年之间，世民就很少领兵出征了，也就再无新功，其契机或由此开始吧！
第二，献自安之策。
山东果然未能安定，情势发展完全证实了魏征的预见。洺水战败，刘黑闼逃往突厥，两个月后，武德五年（622年）六月，在突厥支援下，又骚扰定州（今河北定县），其旧部曹湛、董买康逃亡到鲜虞（今河北新乐市）聚兵响应，李渊命淮阳王李道玄为河北道行军总管征讨，黑闼陷瀛洲（治河间，今属河北）杀刺史马匡武，盐州（治盐山，今山东盐山东北）人马君德背叛朝廷以城归附刘黑闼。十月初一，又以齐王李元吉为领军大将军、并州大总管讨黑闼，正待出发，五日贝州（治清河，今属河北）刺史许善护在鄃县（今山东夏津县）全军覆没，观州（今河北东光县西北）刺史刘会也叛变归附刘黑闼。这月十七日，河北道行军总管、淮阳王李道玄轻敌冒进，在下博（今河北深县东南）与黑闼军相遇，兵败被杀，山东震骇。洺州（治永年，今河北永年县东南）总管庐江王李瑗弃城西逃，州县纷纷叛变归附黑闼，不过10天，黑闼尽复故地，重新占领洛州。李元吉见情况不妙，也害怕了，竟不敢进军。
在后宫的争斗中，建成以太子的有利地位自然处于上风，但他在朝廷及地方的影响则明显不如世民。于是魏征便和太子中允王珪一道向建成进言：“秦王功盖天下，中外归心，殿下您只是因年长居东宫，没有重大功绩使海内心服。现今刘黑闼收集散士，士卒不足万人，缺钱少粮，以大军对付他，犹如摧枯拉朽。殿下您应当亲自率军去征讨他以获取功绩和名声，也趁此机会结交山东英雄豪杰，或许能够保证自身平安无事。”建成于是向父皇请求，皇上同意了他的行动计划，诏令建成率领军队讨伐刘黑闼，陕东道大行台及山东道行军元帅，河南、河北诸州全都受建成处置，特许建成可以根据当时当地情况，自行决定适当的处理方法而不必请示。在此之前，还从没给过出征统帅如此大的权力，这样一来，就极大提高了建成的威信。
武德五年（622年）十二月十八日，建成与元吉的大军进至昌乐（今河南南乐县），刘黑闼引兵抗拒，两次布阵，都不战而罢。魏征即时对建成说：“前次打败刘黑闼，他的将佐逃亡了的都被公布姓名判处死刑，其妻子儿女也被拘捕，所以齐王来的时候虽然有诏令赦免黑闼党羽的罪行，却没有人相信。现在应当全部释放那些被拘禁的俘虏，用好言好语安慰解释送走他们，自然而然可以看到黑闼队伍的分裂瓦解。”建成听从了魏征的主张，果然见效。黑闼部队军粮告罄，许多士兵逃亡，有的绑了他们的首领前来投降。刘黑闼害怕城里的军队出来与大军里外合击，便连夜仓皇逃走。至馆陶（今属河北），时永济桥尚未修成，无法通过，建成、元吉率大军跟踪而至，刘黑闼背水列阵，亲自督促修桥，待桥修成，部队刚过到桥西，队伍就散了，士兵们扔掉武器前来归降，而大军追击也只过了千余骑兵，桥便坏了，黑闼因此得与几百骑兵逃走。刘黑闼一路奔跑，不得休息，武德六年（623年）正月，到达饶阳（今属河北）仅剩百余人，又累又饿，被他任命的饶州刺史诸葛德威诱入城中拘捕，送建成军中，后斩首洺州，山东由此平定。
这次出征，建成采纳魏征建议，以政治瓦解为主，军事打击为辅，所用方略与世民大不相同，而获得圆满成功，解决了世民此前费九牛二虎之力所没能解决的问题，再次显示了他的知人善任，大大提高了他的声威，使太子形象光彩照人。而更具重要意义的是将齐王元吉争取到了自己这一边。在此之前，元吉是紧跟世民的，世民也很器重元吉。如前所述，武德四年（621年）三月，世民、元吉围攻王世充，窦建德由河北引兵援救，世民率骁勇3500前往虎牢阻击，而将围困东都的重任交给元吉，足见对元吉的信任。武德五年（622年）二月，击溃刘黑闼，世民拟南下讨徐圆朗，被紧急召回京师，走时也将部队交给元吉，表明二人关系亲密。但在武德六年（623年）第二次平定刘黑闼后，元吉完全站在了建成一边，不止一次劝建成除掉世民，并表示愿亲自动手。建成、世民、元吉，同为嫡子，各自拥兵，在建成与世民的争斗中，元吉倒向谁，天平就倾向谁，这是明摆着的。而元吉的转向，正是从建成、元吉一起讨刘黑闼开始，因建成这次出征的目的之一就是要广交朋友，力争获得更多的支持者，元吉无疑是他的首选目标。而元吉之所以倒向建成，也有他自己的如意算盘。元吉其人，勇武有力，在讨平群雄的争战中，屡次立有战功，但为人性格粗犷、放纵骄逸，声名不佳。当他发觉建成与世民的矛盾后，也诱发了他的野心。他看二哥世民比大哥建成精明，更难对付，所以愿与建成联合，共图世民，他认为，只要除掉世民，再取东宫就易如反掌了。
除元吉外，建成在山东也赢得了支持者。其一是庐江王李瑗。李瑗是李渊堂兄的儿子，武德元年（618年）封王，曾任信州（治鱼腹，今重庆奉节县，武德二年改名夔州）总管，刘黑闼二次起兵时，他任洺州总管，当淮阳王李道玄在下博战败时，他弃城西逃，建成没追究他的责任，由是感激建成。其后累迁幽州（治蓟县，今北京市西南）大都督，成为建成强有力的支持者。建成失败后，他起兵反抗，被杀。其二是罗艺。罗艺在隋时任虎贲郎将，也是禁军将领。大业十二年（616年）在涿郡（治蓟县，今北京市西南）反隋，自称幽州总管，武德元年（618年）归唐，后封燕王，赐姓李，世民、建成讨刘黑闼，均曾出兵参与。武德七年（624年）建成为加强自己的实力，在长安和全国招募骁勇2000余人作东宫卫士，曾让罗艺派突骑（突击敌人的骑兵）300以充警卫，表明建成与罗艺关系已非寻常。此前罗艺在幽州，建成与他素无交往，二人关系的建立也是在讨黑闼的过程中开始的。
秦王李世民兼陕东道大行台尚书令，山东是他的势力范围，如今有了建成的人，无异在世民身旁安上钉子，在削弱世民的同时也加强了建成自身。不仅如此，平定山东已是卓越贡献，而行政宽仁，深得人心，又胜世民一筹，太子形象粲然可观。相对地，秦王世民则较以往逊色不少。此前，凡有重大战事，全由世民率军出征，此后，情况便有所不同。武德六年（623年）七月，突厥来犯，李渊命建成与世民分别领兵防备，不久，发觉突厥仅骚扰而已，又有求和之意，建成班师，接着也让世民撤兵，世民就难有单独建功的机会了。看来魏征所献的自安之策对世民确实是相当沉重的打击。