非常道忽必烈利用开明的方法治国，起到了很好的效果。
1251年，忽必烈之兄蒙哥，继承蒙古帝国第四代皇帝之位，史称宪宗。
成吉思汗死后，蒙古帝国的皇位相继由窝阔台（太宗）和贵由（定宗）继承，亦即在成吉思汗的儿子中，掌权得势的是窝阔台一系，而拖雷一系的声势，相形之下就显得非常黯淡。但是，自从蒙哥自窝阔台系手中夺得皇位后，情势就完全扭转过来。蒙哥即位，至其远征南宋病殁四川为止，一共掌握实权达九年之久。
蒙哥即位时，忽必烈为南汉地大总督，负责治理中原地区，官高权重。太宗窝阔台时，蒙古即已消灭金国，统治区域达到黄河流域。忽必烈招纳汉儒，学习中原治世哲学，由其治理中原，可以说是最适当的人选了。
占领中原之后，各蒙古皇族及功臣皆依其家世及功勋分别获得封地，这些皇族大臣并未亲自往赴封地居位，而是派遣属下官吏前去管理，向民征税。这些官吏都是嗜利如命的，挟征服者之威势，百般凌虐当地百姓，使得民不聊生、怨声四起。
忽必烈身为皇族之一，所以拥有荆州一万户之封地，开始时，其属下也一样对当地人民苛敛诛求，严酷已极，人民不堪其苦，很多人都冒死请求忽必烈开恩。
此时，忽必烈左右的汉人士子刘秉忠与张文谦二人向忽必烈进言道：“荆州之户本万余，军兴以来，不满数百，得良吏抚之，则以成效，使四方取法，天下皆受王赐。”
忽必烈听从此二人的建议，积极采取了减税措施，一年后，人口即增加数倍，当年因不堪征敛之苦而远走他乡者，又纷纷返回故里。《新元史·世祖纪》有一段这样的记载：“至此，帝益以儒者为可用。”此次卓著实绩，使忽必烈对儒家的治世之术更有信心。
有一次，一个蒙古族燕京地区执政官，在没有任何理由的情况下诛杀了二十八个汉人，并且对一个汉人施以鞭笞之刑，然后释放。此时，恰逢有人献上一把环刀，执政官即刻将刚释走的汉人叫住，不吭一声地将他杀掉，并且若无其事地说道：“我试试刀。”这种视人命如草芥的行为实在令人难以容忍，不久之后，时任漠南汉地大总督的忽必烈知道了这件事，立刻将那位执政官召来，严加指责说：“凡死罪应详谳后行刑，今一日杀二十八人，必多冤滥，况既仗后斩之，此何刑也？”
宪宗蒙哥在位仅仅九年，在此期间，忽必烈一直是漠南汉地大总督。在漠南汉地大总督任内，他最显著的事迹有这样两个，其中一个是1253年至1254年的远征大理国。
大理位于今日云南一带，为少数民族所建立的国家，地处偏远，忽必烈发兵攻伐大理，其目的或为欲控制南宋背后，形成前后包围夹攻的战势。
1253年，忽必烈率军渡过金沙江，进攻大理国。
忽必烈先派遣使者劝大理国投降。那时，掌握大理国实权者为重臣高祥。高祥首先把来使给斩了，一意抵抗，无奈实力悬殊，终于不敌，弃城而逃。蒙古诸将因高祥斩其使者，皆怒气填膺，就想采取报复手段，屠尽城中所有百姓，以泄心头怨恨。此时，汉人参谋张文谦说：“这件事就是高祥一个人所为，与城中的百姓无关，请放过他们吧。”
忽必烈觉得他的话非常有道理，随即命姚枢在大绢布上书写“禁杀戮”三字，颁告全军。《新元史·世祖纪》上也说：“由此一城获免。”后来，出城逃亡的高祥被蒙军捕获，带到忽必烈面前，但是高祥仍然坚持不投降，忽必烈不得已，遂将他处死。但是，忽必烈却说：“这是个忠臣。”下令将其厚葬。
忽必烈的作为还有一项值得人们注目，即1256年营建都城开平府（上都）。当时，蒙古帝国的国都为和林，和林距离中原很远，于是忽必烈乃在北京之北200公里处另筑新都，作为统一国家的根据地。