魏征自担任宰相以来，为开拓李唐一代盛世倾注了全部精力，病退拜特进以后，仍然一如既往，为匡正君德、理顺朝纲，不辞辛苦，不计得失。过度的操劳，损害了他的健康。大约到贞观十六年（642年）冬天，63岁的魏征就病倒了。
魏征卧病在床，不能上朝待君。太宗乍然离开了这位良臣和挚友，茫然若失。《问魏征病手诏》就表露了他的这种心情：“不见数日，忧愤甚深。自顾过已多是，言已失矣，行已亏矣。古人云：‘无镜无以鉴须眉’，可谓实也。”还说，近来我想去看望你，又恐怕使你太劳神，所以派人来往探讯。以后如果有要告诉我的事，可以让他们报来。
辗转病榻的魏征，依然是国事、朝事萦绕脑际。虽然他与唐太宗一起开创的大业还在方兴未艾，但是太宗的作风已远非贞观初期，同时魏王又与太子承乾交恶，争斗激烈，不论从哪个方面做得不好，都会有损于贞观之治，甚至要酿成祸乱，使贞观以来十几年的成果毁于一旦。于是，他不顾病痛的折磨，和墨润笔，倾吐肺腑之言。一封又一封情真意切的奏疏，上达君王。
魏征最担心太宗在用人和刑罚这些治国的根本问题上出现差错。他在一份奏疏中说：“尧舜率天下以仁，而人从之；桀纣率天下以暴，而人从之。下之所行，皆从上之所好。”现在大臣晋升一个人，则怀疑他阿党亲故；贬退一个人，则怀疑他以夺权相报复，听到一个人的话，就认为可信，先入为主，那么新来说话的人，又怎么能证明自己无私呢？魏征以此来劝谏唐太宗对自己所委任的重臣要信赖。
在另一份奏疏中，他说：“古代有人犯了重罪，君上总是说要宽宥，必到不得已的时候，方始加刑。而且人君之威，甚于雷霆。‘今欲加其罪，则理外诬造；将宥其过，则法内曲辞’，如此要想实现刑罚宽平，吏不严酷，是不可能的。”他苦口婆心地劝谏唐太宗要秉公执法。
魏王和太子交恶，是王室中的隐患，最使魏征放心不下，因此他在一份奏疏中强调指出：“帝王所重，在乎定君臣、明父子、正夫妇，三者不乱，然后内外安宁。”劝谏太宗在处理嫡庶、长次的关系时，要十分慎重。
唐太宗到天下大定之后，渐渐不能严于律己，不能虚怀纳谏，滋长了骄横专断的习气和奢侈享乐的思想。魏征对于这些看在眼里，忧在心中，虽说通过以往的苦苦诤谏，太宗有所忌惮，但实际上却有发展的趋势。魏征眼下不能上朝面谏了，便在奏疏中恳切地劝谏道：“君子有诸己，然后求诸人；无诸己，然后非诸人。”进一步阐明有修养的人，首先是自身行为端正，然后才能要求别人。自己的行为丑恶，而能晓喻别人的事，是没有的。他一针见血地指出：现在陛下“临朝堂（常）以至公为言。退而行之，乃未免私僻之事，或恐有所不便，闻于在下，即横加威怒，以掩塞之。欲人不知，莫若勿为，欲盖弥彰，掩之何益！”在进行了如此激烈、尖锐的批评之后，魏征又谆谆告诫太宗对臣下应当开诚布公。而不能“心所爱，则虽僻不以为非；心所嫌，则虽正不见其是”，以期太宗能够信任诤臣，听进逆耳之言。
这一封封切中要害的奏疏，饱含着一个诤臣以至公为上，予国予君倾注的关切与期望，太宗揽而“称善”。不久，他又降手诏，关切地询问魏征的病情，并且自诉魏征卧病以后的苦衷说：“卿患日久，言面已赊。理国立家，方知难耳。比日自为，劳思委顿，始验‘任人则逸，自任则劳’，非虚言也。此怀公想知之，可以意得。书何尽心，略而言耳。”
魏征的病情日趋严重。他家中没有正堂，原先太宗屡次要为他营造，都被他谢绝了。前尚书右仆射温彦博刚正廉明，不愧为一代良臣，他病逝以后，家中没有正室，灵柩就停放在侧室里。太宗得知这一情况后，才命令有关部门为之赶造了正室。为了此事，唐太宗感叹不已。几年后的今天，魏征的病势转重，他自然提前考虑到让这位名相寿终正寝的问题。于是，他便用正准备建造一座小殿的材料给魏征建造了正堂，5天就竣工了。太宗派遣宫廷使者带着不加文饰的屏风、几案、床等家具和素褥布被赐给魏征，以遂其崇尚节俭的志向。魏征附表陈谢。太宗下诏：“观卿书不如寻常，忧惋之情切朕怀意。处卿至此当（堂）为横（宏）济黎元，经图达化耳，岂为朕一人而巳。何事果来相谢？”
魏征病势转重后，太宗放心不下。虽然魏征宅就在太极宫东南的水兴坊，离宫城很近，他还派左屯卫中郎将李安俨住宿在魏家守候，一有情况，就马上报告。赐给魏征的药品、食物也很多，宫中派出的使者在道上络绎不绝。
太宗曾两次亲临魏宅探望。第一次去时，屏退左右，和魏征交谈了很久，谈得十分投机，次日又下手诏抚慰。第二次，是和太子承乾一起去的。魏征在席上让人给披上朝服，拖着玉带与他们相见。太宗见此情景，不禁潸然泪下，强忍悲伤进行抚慰，并问魏征有何要求。这时，魏征已病情垂危，脑海中唯有国家的安危。于是，他引用《左传》中的话说：“嫠不恤纬，而忧宗周之亡！”表明自己除了挂心与太宗共同开创的伟业能否继续发展外，别无他念，亦无他求。太宗准备把衡山公主嫁绐魏征长子叔玉，因此这次也携她同来。太宗指着公主对魏征说：您勉强看一看新媳妇吧！可是魏征已经不能答谢了。这天夜里，太宗梦见魏征，神色、眼神和平时一样。次日早朝时，就听到了魏征病逝的噩耗。这一天，是贞观十七年（643年）正月十七日。
魏征逝世以后，在他的病榻旁发现了遗表一份。这是一份才写了一半的草稿，上面的字都很难辨认。其中可以辨识的语句有：“天下之事，有善有恶。任善人则国安，用恶人则国乱。公卿之内，情有爱憎。憎者惟见其恶，爱者惟见其善。爱憎之间，所宜详审。若爱而知其恶，憎而知其善，去邪匆疑，任贤勿贰，可以兴矣。”这就是他的临终遗言！这位生前为国泰民安耗尽了心血的良相，临终念念不忘的，仍是国家的安危。为唐朝政局的稳定，为了封建治世的拓展和国家的兴旺，魏征一直奋斗到了生命的最后一息。
唐太宗闻知魏征辞世的噩耗，立即亲临其家吊唁，哭得非常伤心。下诏“废朝五日”。皇太子承乾也在西华堂举哀，“悲不自胜”。诸王及文武百官、各地在京官员九品以上的都前往吊唁。赐司空、相州都督，谥号文贞，陪葬昭陵，并给羽葆、鼓吹、班剑40人。准备用一品官的隆重葬仪礼葬魏征。然而，魏征的妻子裴氏夫人执意辞谢说：“征素俭约。今假一品礼，仪物褒大，非征志见许。”太宗为了尊崇魏征的志向，于是改用白木车子、白布车帷送葬。
魏征出殡那天，太宗令九品以上的文武百官及各地在京的官员参加丧仪，送至开远门外，太宗登上御苑的西楼，望哭尽哀，并令晋王李治宣敕祭之。
唐太宗亲撰碑文和挽歌，并“自书于石”。还特赐魏征家食实封900户。