玄武门之变后政局不稳；战乱之后，田园荒芜，人丁凋零；霜旱为灾，米价昂贵，百姓饥馑；加上频频侵扰唐朝的东突厥，边境州县骚动不安。因此，如何在这百废待兴的情况下治理国家，进而使李唐王朝长治久安？这使太宗君臣不得不结合施政实践从各方面认真细致地探求治国之道。
公元626年九月，李世民划定了功臣的爵位，命陈叔达当面宣读，征求功臣的意见。这时，有功的将领纷纷争取功名。准安王李神通首当其冲：“高祖举义旗于太原，是我率领众人率先在关中响应；而房玄龄、杜如晦等只是一些文臣，今日爵位却居我之上，臣心中实在不平。”太宗道：“义旗初起，虽然是叔父您首先响应，但也为自己避祸。后来与窦建德战于山东，全军覆没。看到刘黑闼起兵，您又率先撤退逃窜。玄龄帷幄运筹，坐安社稷，论功行赏，他们所建立的功绩均在您之上。叔父是皇家至亲，我对您非常尊敬，但不能因徇私情而滥赏啊！”一席话说得神通等人心悦诚服。原秦王席旧人中没升官的也有怨言，说我们侍奉陛下多年，今日封官反不如原李元吉、李建成的手下人。房玄龄将此事告诉太宗，太宗解释道：“只有大公无私，这样的帝王才能服天下人心。朕与诸公的衣食，都取之于百姓。因此设置官职，应为百姓着想，任人唯贤，怎能以新旧为先后呢？”
不久，太宗和群臣讨论如何杜绝偷盗行为，有的主张用严刑重法禁止，太宗认为不可，并说：“民所以为盗‘是因为赋役繁重’官吏苛刻饥寒交迫，才不顾廉耻呀！朕要轻徭赋，节省开支，选用廉吏，使民衣食有余，自然不去为盗，这样严刑重法根本就派不上什用场了！”他还对群臣说：“君靠国家，国家靠百姓。苛刻地剥削百姓供奉君主就像自己割自己的肉吃，结果只能自取灭亡，君富而国亡。因此人君的祸患不是外来的，而都是由自身引起的：贪图享乐只有浪费钱财；浪费钱财则赋税苛重；赋税苛重则百姓愁苦；百姓愁苦则国家危机；国家危机则君主灭亡。这一道理经常在我脑海里出现，因此不敢纵欲。”十二月，益州大都奏獠人反叛，督请发兵镇压。太宗道：“獠人依据山林，有时抢掠，是其习俗。如果地方官能以恩信抚慰，獠人自然降服，怎可妄加杀戮轻动干戈？”
太宗励精图治，他闻听景州录事参军张玄素是一位贤明之人，便召见访问为政之道。张玄素认为：隋朝不信任群臣，皇帝个人独揽大权，大臣们惧怕，只知遵命照办而已。处理天下如此繁杂的政务却仅仅凭借一个人的智慧，即使得失各半，也已经谬误百出了。况且这导致下面讨好奉迎，上面孤陋寡闻，岂有不亡之理！陛下如能慎择群臣而大胆使用，根据他做事的效果进行赏罚，何愁不治！此外，臣观隋末大乱，其实想争天下的不过十余人而已，大多数都为了保全宗族妻子，等待有道明君的出现。可知百姓中只有极少数的人好乱，问题是人主不能使之安居乐业。太宗听罢很是赞赏，张玄素也立即被提升为侍御史。
公元627年正月，太宗设宴款待群臣，命奏《秦王破阵乐）。席间太宗道：“朕从前受命征伐，这支曲子便在民间流传，虽非文德雅乐，但功业也确是由此而成。因此奏此乐以示不敢忘本。”封德彝附和道：“陛下以神武平海内，文德怎能与您的武功相比呢？”太宗却又说：“平定战乱靠的是武力，而治理天下则需要有文德，文武之用，都有它们各自适合的时候。你说文不及武，此言差矣！”
不久，御史大夫杜淹面奏：“诸司衙门的文件，恐怕有差误，请让御史们检查。”太宗向封德彝询问他的看法。封德彝答道：“设官分职，各有权限。违法乱纪的现象如果出现的话，御史自应弹劾。若遍历诸司，查找纰漏，恐太繁琐。”杜淹听后默默无语。太宗问杜淹为何不再论奏？杜淹答道：“天下之事，都有其理，如果是正确的，就应该听从。封德彝所言，比较符合执政的道理，令臣心服，不敢妄自评价。”太宗听罢大悦，说：“你们如果都是这样，朕还有什么可担忧的。”
闰三月，太宗对太子少师萧璃道：“射箭是我年少时喜爱的活动，得到十余张良弓，自认为是天下的极品。最近拿给弓匠看，他却说全不是好弓。朕问为何？回答道：‘用来作弓的木头，木心不直，脉络偏邪，虽然弓的力道强劭，但发出的箭不直。’朕这时才明白从前并不真正懂得什么是好弓箭。朕以弓箭定四方，并不能把握其好坏程度，何况天下事，怎能无一不晓呢？”遂命在京五品以上的官员在中书省内轮流值班，并多次召见，访问政事得失及民间疾苦。
五月，有人上书请清除佞臣。太宗问佞臣是谁？这人答道：“臣居住在偏远的草野之地，不能确切知道是谁。但望陛下与群臣商议政事时佯装大怒，凡是执理不屈的，就是直臣；而畏首畏尾，不敢与您争辩的，就是佞臣。”太宗道：“君是源，臣是流，源头浑浊却想要下游清澈，是不可能的。君若自身欺诈臣子，怎能要求臣下正直呢！朕正以诚治天下，不能采纳你的权术。”十二月，尚书右丞魏征被告发违法庇护亲属，太宗让御史大夫温彦博审查，结果发现根据没有事实。但彦博奏道：“魏征平日不拘小节，才引起这样的嫌疑。虽然心中大公无私，这点也应责备。”太宗遂叫温彦博告诫魏征今后要谨小慎微。不久，魏征进谏，对太宗严肃地说：“臣听说君臣同体，应以诚相待。若上下都不为国家社稷着想，只谨小慎微地躲避嫌疑，就难以预料国家的兴亡了。陛下的告诫臣实不敢苟同。”太宗突然明白过来，说“我已知错了。”魏征又道：“臣有幸侍奉陛下，请让我成为一名良臣，而不悬一名忠臣。”太宗困惑不解地问：“良臣、忠臣间还有区别吗？”魏征答道：“契、稷、皋陶（传说中辅佐尧、舜、禹的大臣）是良臣，龙逢饵（桀的大臣）、比干（商纣的大臣）是忠臣。良臣与君同心协力，自身获得赞誉，君主的名号得以显扬天下，子孙传世，福禄无疆；忠臣面折廷诤，诛戮身体，君陷大恶，家国并丧，空有其名。由此而言，相差甚远。”太宗连忙称道，并赐绢五百匹。
一日，太宗对黄门侍郎王硅道：“国家置门下、中书两省，意在相互制约。如果中书省草拟的诏敕有什么闪失，门下省本应加以驳正。人的见解，互有差异，彼此辩论，求取正确；己错从人，有何关系？近来有的因护短饰非，相互怨恨；有的为避免私怨，知错不纠。只顾一个人的情面，不惜造成万民的大祸患，这是亡国之政：隋炀帝时，内外官员一味奉迎阿谀，当时都白以为聪明，祸不及身，待至天下大乱，家国两亡。即使有少数侥幸得免，也是受到各种群众的舆论谴责，遗臭万年。望你们大公无私，不要学炀帝朝的官员。”
太宗还对侍臣说：“朕听说西域客商得到上等珍珠，就不惜剖开身体来隐藏。真有这样的事吗？”侍臣回答有。太宗又说：“人们都知道嘲笑他们爱珍珠超过爱自己的身体。但官吏贪赃获罪，与帝王纵欲亡国，这些人同那些客商不一样可笑吗？”魏征道：“从前鲁哀公对孔子说：‘人有好忘事的，迁居后就忘记了自己妻子的模样。’孔子说：‘还有更严重的，桀、纣一连自己也无法确定。’孔子之语说的也是这个道理。”太宗紧接着说：“正是这样，朕与诸公要同心协力，以免被别人耻笑。”
一次，太宗在与臣子谈话时，论及山东人、关中人，意中流露出褒后者而贬前者（因太宗是关中人）。殿中侍御史张行成奏道：“天子要以四海为家，不应被狭隘的地域思想所制。”太宗连连称对，并厚加赏赐。自此每有大政，他经常出现在参与商讨的人中。
这年，太宗还对侍臣道：“我发现从古以来帝王都是以仁义治天下，国祚久长，以法治天下的，虽救弊于一时，灭亡失败也很迅速。前代成败，足可借鉴。我现在的治国之道是仁义诚信，以改变近代浇薄之风。”黄门侍郎王硅说：“天下战乱破坏日久，陛下承其余弊，弘道移俗，这是万代宏福。但治理国家必得贤才。”太宗道：我对于贤德之人的倾慕，真是梦寐以求！“给事中杜正伦紧接着说：当世必定存在着有才之人，只看陛下能否选用，您又何必非要都在梦中寻找呢！“太宗深表赞同。次年，太宗以”仁义“治国初现成效，他对侍臣们说：朕原以为乱世之后风俗难移，近观百姓渐知廉耻，盗贼日稀，官民奉法，才知人无常俗，但政有治乱。因此，治国之道，必须仁义相待，示以威信，因人之心，去其苛刻。这样，百姓自然安定，国家自然安定。望诸公与朕共行此事。