公元634年，阿布·伯克尔去世，欧麦尔当选为第二任哈里发。他即位之后，便发动了阿拉伯历史上空前未有的大征服运动，这次征服运动灭亡了波斯帝国，打垮了拜占庭帝国，改变了当时大陆上三分之一居民的信仰。
这一年初，欧麦尔派出两支军队，对拜占庭和波斯帝国展开了全面进攻。东路大军由哈立德率领，进攻东罗马帝国最富裕的行省叙利亚。当时，哈立德正在巴比伦尼亚地区作战。他不想与东罗马军队发生正面冲突，就采取了一个十分冒险的军事行动，穿越无人敢走的大沙漠，直插叙利亚首都大马士革，从后面包抄东罗马的军队。
要想穿越大沙漠，必须经过伊拉克境内的希拉城。哈立德拿出6万金币送给希拉国王，希拉国王很快就答应借道。哈立德亲自挑选了一支800人骑兵，丢下大量马匹换骑骆驼，只携带少量驮载水囊和粮秣的健马，便向大沙漠里进军了。
这是一段极其艰苦的征程，他们渴了就喝马背上皮囊里的清水，饿了就杀骆驼吃生骆驼肉，用骆驼胃里的水饮马。5天以后，这支队伍无一掉队地走出了茫茫沙漠。稍事休整后，哈立德率领这支精干的突击队经过13天的急行军，突然出现在大马士革东北面的重要关隘素瓦，从后面形成了对大马士革的包围。
这一年的七八月间，哈立德又出其不意地出现在艾扎那代因地区，东罗马军队猝不及防，被打得大败，一部分逃回君士坦丁堡，一部分退守大马士革城。哈立德乘胜追击，将大马士革围得水泄不通。由于大马士革城池坚固，阿拉伯军队实力有限，哈立德没有立刻下达攻城的命令，而是坐待敌营发生变化。
公元635年9月，已被围半年多的大马士革城粮食匮乏，人心浮动，主动提出投降。但大马士革人担心阿拉伯人进城后会烧杀抢掠，就推举城中大主教站到城头上，问哈立德能给大马士革人什么保证。哈立德回答说：“空口无凭，怕你们不相信，最好能把纸笔扔给我。”大主教立刻命人找来纸和笔，扔到城下，哈立德在纸上这样写道：“以真主的名义，哈立德向所有大马士革人保证，阿拉伯人进城后一定保护你们的生命、财产和教堂，穆斯林决不会进入你们的房屋，只要你们每人每年缴纳一个第纳尔（当时的货币单位）和一袋小麦的人头税。”
哈立德提出的人头税，要比东罗马皇帝规定的税少多了，大马士革人特别高兴，都表示欢迎阿拉伯人进城。就这样，哈立德兵不血刃地占领了叙利亚的首府。
东罗马皇帝希拉克略不甘心丢掉叙利亚这块传统领地，便调集了20万大军，由他的弟弟西奥多拉斯统率，向大马士革扑来，准备与阿拉伯人决一死战。这时，哈立德指挥的阿拉伯军队总数只有2.4万人，面对强敌，他主动撤出了大马士革城。由于他对待叙利亚人很宽厚，有不少年轻的叙利亚人自动拿起武器，跟随他一起作战。
公元636年8月20日，尾随而来的东罗马军队进到约旦河耶尔穆克河谷一带。哈立德首先指挥部队抢占有利地势，切断敌军的交通线，接下来顺着从大沙漠刮来的热风的方向，对敌军发起猛烈的反击。东罗马军队经过了几个月长途跋涉，早已疲惫不堪，酷热的天气又使得许多士兵中暑，变得不堪一击，很快就被以逸待劳的阿拉伯军队打败。
统帅西奥多拉斯战死，7万多人被杀。哈立德挥师再占大马士革城，夺取了整个叙利亚。