出于安全上的考虑也促使忽必烈对南宋开战。和其他历代王朝一样，宋朝渴望统一中国。在宋朝朝廷中复仇主义是政治辩论中的一部分，尽管此时宋军相对较弱并且没有构成对蒙古的直接威胁，但它可能恢复元气，并且它的首要目标之一是收复被蒙古占领的中国北方领土。忽必烈应该在南宋变成更强大的对手之前征服宋朝。宋朝的大量财富是另一种吸引。南宋土地肥沃，这对北方极其重要，因为北方的人口超过北方的食品供应能力，因此北方需要很好地利用来自南方的谷物供应。宋朝与南亚、印度及中东的海运贸易使南宋的沿海城市富裕起来，这是忽必烈的另一个经济动机。
但是要占领中国南方存在许多障碍。尽管蒙古军队和骑兵在北方的气候和地形条件下是成功的，但他们不习惯南方的气候和地形。他们对中国南方亚热带地区折磨人的高温没有准备，也不适应南方或西南地区的疾病、寄生虫病和蚊子肆虐的热带雨林。他们的马匹不能很快适应高温，并且在南方农田上不能像在草原上那么容易得到草料。另外，蒙古军队需要采用以前未使用过或至少很少使用过的军事技术。例如，为了对付南方的水军，他们需要造船、招募水手并且需要更加精通水战。在陆地上他们需要围攻人口众多、守卫良好的城镇。事实上，在蒙古人攻打的国家中，宋朝人口最多，资源最丰富；而对大宋帝国的占领需要大量的支出和努力。
表面上，南宋是繁荣的。像首都杭州那样的活跃城市追求奢华并具有为此所需的资源。杭州拥有豪华的饭馆、茶馆及戏院，“别的城市都没有这样地聚集财富”。南宋的繁荣来自广泛的国内贸易以及和亚洲及中东其他国家的贸易。认识到可以从贸易中征集潜在的税收，南宋政府在最重要的港口中任命海上贸易监督人（提举市舶使）；雇用商人监督国家专卖并在社会上给他们以较高地位；还鼓励与中国开展贸易的外国商人。随着海上商业的繁荣，宋朝关心航运并且相应地关心水军力量的提高。朝廷建立海军抵御沿海的海盗，装备着火箭、火器和炸弹的大战船成为南宋武装力量的重要分支，构成蒙古入侵的一种障碍。
虽然有着商业繁荣和水军强大，13世纪中期宋朝内部面临许多严重的政治和经济困难。许多善于经营的大地主通过压迫农民或者得到官僚亲戚的偏袒，从而积累大量财产并且获得免交赋税的特权。随着越来越多的土地从税收名册上消失，朝廷的国库需求不能得到满足。宦官和外戚在朝廷的政策制定中起着重要的作用，有时压倒高级官员。军事上的开销不断上升，腐败和低效使军队战斗力下降。从13世纪60年代初期，大臣贾似道开始试图改革并约束牟取暴利的宦官、外戚和官吏。他清洗一些这样的人物并使自己的党羽担任重要的官职，从而使宫廷两极分化，疏远并扩大对立面。因此，到了和蒙古对抗时，宋朝朝廷陷入了严重的分裂。
因为宋朝拒绝放弃它的主权，武装冲突不可避免。从1260年之后出现小冲突，1265年在四川发生了大的冲突。战争于1268年爆发，一直持续到1279年。从1268年到1273年的襄阳之战是战争中时间最长的战役并被证明是最关键性的。位于汉水沿岸的襄阳是具有决定意义的重要战略要地，是通向长江中游盆地的最后一个要塞。宋人在那里修建了几乎坚不可摧的防御工事，其中包括如拉施特所描写的“坚固的城堡、厚实的城墙和深深的护城河”。为了战胜守卫者的抵抗，蒙古军队需要取得汉水上的水上霸权以阻止来自宋朝首都的给养和增援部队。蒙古军队还需要熟练掌握攻城战术和使用火炮。为了提供这种专门技能，忽必烈挑选了一组来自各种族的军官，并为他的军队招募蒙古人、汉人、畏兀儿人和波斯人，为他的水军招募高丽人和女真人。
围困开始于1268年秋天，但是很久之后才实现全面封锁，从而在围攻的头三年中宋朝能够向它被围困的要塞发送给养和增援部队。同时忽必烈反复地派出他自己的增援部队向襄阳的保卫者施加压力。例如，从1269年4月到1270年4月，他向该地区的指挥官派出10万官兵和5000艘战船。但是襄阳的保卫者坚持不投降。然而，从1272年初宋朝朝廷在打破围攻中遇到更多的障碍。从这时起，襄阳完全被孤立。但蒙古指挥官认识到强攻城堡和要塞要付出沉重代价，如果他们选择避免流血，毫无疑问他们会被钳制，为了打破僵局他们需要帮助。
两位回回技工提供了蒙古人所寻求的帮助。忽必烈的侄子、波斯的伊利汗阿八哈应大汗的要求派出亦思马因和阿剌瓦丁前来中国。这两位回回人在1272年下半年到达襄阳并建造了能够远距离发射大石块的投石机和石弩，年底蒙古军队开始使用这些设备。有记载说“当该炮发射时声音惊天动地，它所击中的所有东西都被击破和摧毁”。借助这种大炮的神威，蒙古人最后强行攻城，剩余的宋军用密集的石块和弹射器反击但未能挡住敌军。1273年3月勇敢的宋军将领吕文焕投降，几乎持续五年的围攻终告结束。
襄阳失守之后，宋廷士气低落，贾似道信誉扫地。贾似道试图通过亲自主持抵抗蒙古军队的进攻尽力挽回声誉。他知道进击的蒙古人将沿东南方向向宋朝首都杭州进军，所以决定在西北方向上靠近扬州城的地方进行抵抗，贾似道率领13万大军等待敌人。为了加强自己的入侵力量，忽必烈决定指定一位攻宋军队的统帅。
1273年夏天，忽必烈选择了伯颜，一位可能是那个时代最有才华的军人担任远征军的指挥官。在旭烈兀领导下的波斯和中东战役中以及在大理战役中伯颜已功成名就，但是现在他得到最重要的任命。认识到这项任务极其重要，伯颜对远征作了大量准备。他还鼓励和欢迎汉人投降者。
完成计划制定和对军队的训练之后，1275年1月伯颜从汉口渡过长江。两军展开了水陆激战，但很快宋军被迫后退。3月中旬，伯颜终于在离扬州不远的丁家洲遇到主要对手贾似道。除了蒙古具有包括投石器和石弩在内的大炮之外，双方势均力敌。大炮意味着差异，伯颜借此击溃宋军并予以重创。贾似道的军队开始逃跑，贾似道被迫重聚军队并且退却。他在首都杭州的政敌得到了他们一直寻找的机会，他们剥夺他的官职并把他流放到南方省份福建。在途中，贾似道被押送他的人害死。
宋廷处于慌乱和无序状态。当蒙古人继续向前推进时，南宋的皇族面临着其它困难。年轻的皇帝度宗于1274年8月12日突然病逝，由他的年仅四岁的儿子继承皇位。祖母谢太皇太后为孙子摄政，但她体弱并且缺乏好顾问，因为越来越多的有权势的臣僚投靠了蒙古人。同时，在丁家洲战役之后伯颜的军队包围扬州并且占领一个又一个的城市，多有宋军和居民不战而降。除了投降之外，太皇太后没有别的选择。1275年末，她派出使者答应向蒙古进贡。但是伯颜拒绝这些提议，声称除无条件投降外他对一切都不满足。
1276年1月末，太皇太后最终承认宋朝皇帝是忽必烈的臣民并把国玺交给伯颜。宽厚地接受宋朝的投降之后，伯颜告诫他的手下不要抢劫和掠夺并把皇族护送到北方忽必烈的驻地。同样，忽必烈对投降的皇族是很关心的，尽管他没收了一些珠宝和官服，但他为皇太后和皇后提供住处、年俸及侍从。年幼的皇帝同样得到从小已习惯的奢侈，但他很快被放逐到吐蕃并且成为一位虔诚的佛教徒。后来在1296年他离开宫殿出家，1323年被迫自杀。
尽管占领杭州，但是尚未完成对南宋的征服。一些宋朝忠臣带着皇帝的两位异母兄弟逃到南方。1276年6月14日他们聚集在福州拥戴七岁的哥哥赵显为皇帝。面对这样一位年幼的皇帝，宋朝忠臣需要一位强有力的摄政王来保证他们事业的生存。由于主要官员政治观点不同，不能选出单一的摄政王。缺乏团结和不断的争吵削弱了宋朝并且使蒙古人率领的军队更有信心以最快的速度向南挺进。
畏兀儿将军阿里海牙率领的军队经湖南和现在的广西向西南挺进。当年年底，另一支由蒙古将领唆都指挥的部队占领福州，迫使宋朝忠臣向更南的港口泉州退却。泉州的主管海上贸易的招抚使回回人蒲寿庚最初欢迎逃来的皇帝和他的随从，但是蒲寿庚很快感觉到宋朝官吏的傲慢和专横，随即发生争执。1277年4月他把忠诚转向蒙古人，因为蒲寿庚指挥着一支精良的船队，对忽必烈来说这是一次重要的变节。同时，在这一年中，忠于宋朝的大臣在南方从一个港口转移到另一个港口，从潮州开始，接着到惠州，最后在年底抵达广州。唆都不断追击他们，并在1278年2月占领广州。忠于宋朝的大臣仍然不投降，而且再一次逃跑。但是，压力、艰苦的生活以及不断变化的气候和环境都使年幼的皇帝难以承受，在5月8日他将满10岁时夭折。
他的死对宋朝的忠臣是一个沉重的打击，但是他们的领导人张世杰和陆秀夫最后一次把他们重组在一起，推戴已死皇帝赵显的异母兄弟赵昺并以他的名义进行统治。此时他们以中国东南边陲的雷州半岛附近的硇洲岛为基地。蒙古人的持续进攻迫使他们再次逃跑，这次从广州过海到达崖山岛。蒙古人对岛进行封锁。1279年3月19日，宋朝船队试图打破封锁，但在接踵而来的战斗中，却失败了，最后陆秀夫背负小皇帝跳海。宋朝的末代皇帝夭折在海上，宋王朝最终被蒙古人推翻。三个月之后，张世杰在他的船队遭到飓风摧毁时溺死。一些忠臣逃到占城，他们计划恢复力量并且对蒙古在中国的统治进行挑战，但是他们已没有能力做到这一点。
到了1279年，忽必烈和蒙古人粉碎了宋朝的残余力量。但现在忽必烈可能面临更加难以对付的局面，因为他必须获得他征服的汉人的效忠。为赢得他们的信任和支持，他不能仅仅表现为一位只对掠夺中国南方财富有兴趣的“蛮人”占领者；相反，忽必烈需要建立一个为蒙古人服务但又不过分压迫当地百姓的政府。某些政策和人员使用上的延续还可以使蒙古统治平稳过渡。因此，忽必烈对他的军队下令允许汉人不受妨碍地从事经济活动。他还试图为他的政府招募汉人官员，许多有才能的“南人”为蒙古人工作。但是，一些学者和官员拒绝为蒙古人服务，并且投身到非政治的事务中。一些人物，例如，著名的儒将文天祥，表现对宋朝的忠诚，则被蒙古人监禁或杀害。在忽必烈后来的统治时期，史书上没有记载重要的宋朝造反者，明显地显示出他在世界上人口最多的国家中建立蒙古统治的能力，他遇到的困难很少。
对外扩张
在平定高丽的战争中，忽必烈取得了同样的成功。1258年，他的兄长蒙哥派出远征军平息叛乱并使高丽处于蒙古控制之下。武力的炫耀导致高丽的屈服，其象征是世子王禃（译者注：王禃初名王倎，封王后改名）作为人质抵达蒙古宫廷。忽必烈和这位年轻的高丽人相处得很好。当第二年蒙哥和高丽国王去世后，在一支蒙古部队的护送下忽必烈把王禃送回高丽并授予他高丽国王的封号；反过来，王禃很快地通过把世子送到忽必烈的宫廷作为人质以表现他的忠诚和“信诺”。在后十年中，高丽和蒙古朝廷间的关系持续改善。王禃向蒙古进贡，而忽必烈用慷慨的礼品回酬，允许高丽商人和中国进行贸易，并在经济困难时向高丽提供谷物和肉类。
忽必烈甚至在政治骚乱时帮助他的盟友。1269年，一位名叫林衍的军官发动军事政变。在得悉发生暴乱消息后的一个月内，忽必烈派出3000名特遣军驱散叛乱军队并恢复了王禃的王位。1273年，残存的反抗者被赶到大陆南海岸旁的济州岛。为了巩固与高丽皇族的关系，忽必烈让他的女儿和高丽世子定婚，并成为以后在中国的蒙古王朝统治者的一种惯例。作为回报，高丽人每年派使团向中国进贡土拨鼠、水獭、白银、猎鹰、陶瓷和药品直至忽必烈去世；高丽向忽必烈的宫廷递交人口登记册，并且向派到高丽宫廷的蒙古监临官提供给养。济州岛的一部分变成养马的牧区，这些马匹进贡给蒙古或者用于贸易。在13世纪70年代中期平定高丽后，忽必烈对高丽提出了蒙古在军事和经济上的要求。
也许忽必烈对高丽最艰巨的要求是在他的对日关系中作出帮助。尽管在13世纪初期高丽被称为倭寇的日本海盗所烦扰，他们仍希望避免牵连到蒙日关系之中。例如，1266年他们通过描述日本岛屿附近的汹涌海洋和狂暴气候劝阻忽必烈派往日本的使团不要继续前进。为高丽的不合作所激怒，忽必烈严厉地进行惩戒，他在1268年派出另一个由高丽人参加的使团。日本幕府首领和体现出武士自尊及爱国特点的摄政王北条政村，不接受作为中国的蒙古统治者的仆从地位，因此他们断然拒绝使团的提议，甚至不答复忽必烈的来函。在这封信中忽必烈把日本君主称为“小国之君”。1271年和1272年派去的使者得到相同的待遇，这两次使者返回中国后都描述了在日本所受到的粗鲁和屈辱的待遇。忽必烈不能容许日本人对他的无限期的蔑视。
1274年忽必烈开始组织迫使日本接受进贡国地位的惩罚性远征。这次行动由1.5万名蒙古人、汉人和女真人士兵以及6000~8000高丽军队组成，由7000名高丽水手引导，从高丽的合浦（接近现代的釜山）出发驶向日本。他们占领对马岛和壹岐岛并且在九州东部海岸上的福冈登陆。因为忽必烈完全低估了日本人抵抗力量，这并不是一支很强大和给人深刻印象的军队。尽管日本不具有能和蒙古人的长射程武器，例如弩和石弩相匹敌的武器，而且他们的将领不像蒙古将领那样有经验，但是他们早就布署好沿海岸的防御，并且是在自己的土地上进行战斗，更加熟悉地形和气候。