8日，朝鲜政府顶不住日本压力，被迫宣布改革，亲日派嚣张一时。袁世凯六神无主，害怕朝鲜人民与自己算账，不敢走出公署一步。然而公署也不保险，日军认为朝鲜亲华拒日是他一手造成的，大炮已经对准了他的公署；加之公署柴米缺乏，幕僚大都离去，他惶惶不可终日，吓得面无人色，魂飞魄散，以为死神就要临头了。恰巧这时他生了病，14日，急急忙忙给李鸿章发电说：“凯素有发烧症，近因久痢气虚，昨夜剧犯头目昏瞀，周身疼痛，即延洋医诊视。据云热过百度，首置冰始稍轻，似尚不至害事。惟韩事方殷，未便晷刻废事，已饬唐守绍仪暂照料。唐优智虑，明机宜，确有应变，与韩西员均熟，必不至误事。”为了保住性命，他“无所恇畏”之类的大话、假话再也不敢乱吹。16日，他连发数电，声泪俱下，苦苦哀求：“凯与各国员商事且通信息，今已无可商通。各路将进兵示决裂，在此华官民将尽为倭残辱。凯病至此，何可得保辱国？乞速示。”“凯病如此，惟有死，然死何益于国事？痛绝！至能否邀恩拯救，或准赴义平待轮，乞速示。”“顷接英领事知单，身及其妇并柏税司被日兵拦路殴打。日兵凶悍，毫无公法，稍迟，恐华人均难逃，乞速设法。”唐绍仪也连电李鸿章，代为说情：“在汉两署办公只余二员，今闻南北进兵，均即逃，无能挽留。仪一人译电、办公断难理，袁道病又须照拂，势急情迫，乞速示。”“袁道病日重，烧剧，心跳，左肢痛不可耐。韩事危极，医药并乏，留汉难望愈，仪目睹，心如焚。韩事以袁道为最熟，调回尚可就近商办一切，无论和战，当可图效。若弃置不顾，可惜！乞恩鉴。”
李鸿章接电后同意了，但清政府不同意，复电李鸿章：“电袁道。奉谕旨：毋庸调回，切不可径自赴津，如必须令其面禀情形，仍应请旨遵行。”李鸿章只得电令袁世凯缓行。相隔一天，即7月18日，清政府因中日即将决裂，才谕令李鸿章将袁世凯调回。
袁世凯接电后不顾发烧疼痛，立即打点回国。这时他忽然又得到一个东学党准备在其回国途中行刺的秘密情报，越发心惊肉跳，一刻也不愿停留。急忙变更了回国路线，改装易服，于19日偷偷摸摸逃到仁川，登上平远舰，狼狈不堪地逃回天津。他总算如愿以偿，未做异国飘零之鬼。
1895年12月8日，各亲王、军机大臣奏请变通军制，在天津创建新式陆军，派员督练。其奏称：“中国自粤、捻（指太平军和捻军）削平以后，相沿旧法，习气渐深，百弊丛生，多难得力。现欲讲求自强之道，固必首重练兵；而欲期兵力之强，尤必革新旧制。……查有军务处差委浙江温处道袁世凯朴实勇敢，晓畅戎机，前驻朝鲜颇有声望。因令详拟改练洋队办法，旋据拟呈聘请洋员合同及新建陆军营制、饷章，臣等复加详核，甚属周妥。相应请旨饬派袁世凯督练新建陆军，假以事权，俾专责任。现在先就定武十营，步队三千人，炮队一千人，马队二百五十人，工程队五百人，以为根本；并加募步队二千人，马队二百五十人，共足七千人之数，即照该道所拟营制、饷章编伍办理。”同日，清廷批准，并命袁世凯去天津接管胡燏棻的定武军十营，作为改练新军的基础。同时指出：“该道当思筹饷甚难，变法匪易，其严加训练，事事核实。倘仍蹈勇营习气，惟该道是问！”
袁世凯取得了督练新军的职权，于1895年12月16日前往小站镇接管定武军。小站镇又叫新农镇，位于天津东南，距天津七十里，当年淮军曾在此屯田驻扎二十多年，甲午战争中，该部淮军全部溃散，营房空无一卒。胡燏棻的定武军原驻天津马厂，因营房不敷分扎，乃移驻此地。定武军原有四千七百五十人，袁世凯接统后，派人到河南、山东、皖北、苏北一带招募了步兵，去奉天招募了骑兵，又购置了大批马匹，再加上定武军原来的官兵，共有七千人，并奏请把定武军改名为“新建陆军”。这就是北洋军的起源。
新建陆军采取的是德国和日本建制，有步、炮、马、工程、辎重各兵种，打破了旧军队不分兵种的框子。步队五千人，分左右两翼，左翼二营，右翼三营；炮队一千人，分右翼快炮队、左翼重炮队和接应马炮队三个队；马队五百人，分为四队；工程队五百人，分别负责桥梁、地垒、电雷、修械、测绘、电报。在装备方面，全部换成了从德国购置的曼利夏步枪、马枪、手枪和格鲁森快炮。担任训练的军官有十多名是从德国聘请的，巴森斯负责全军训练，伯罗恩为德操教官，祁开芬为炮队教官，曼德（挪威人）为马队教官，慕兴礼、魏贝尔为德文教官。全军一律习洋操，根据德国陆军教条进行训练。
清政府当初决定编练新军时，掌权的“大老均无主见，又无重肩，轻信轻疑”。袁世凯探悉，知道“断难有为”，一度力辞不干，未得允许。军队的薪饷经费由政府的户部供给，按说应该没有问题，“无如库帑奇绌，筹拨甚难”。定武军为旧军改编，“习气太深，积弊亦久，刷除殊非易事，而操练又颇难逐一合法”。凡此，均给新建陆军的整顿和训练造成困难，使袁世凯深为不快。
这支军队虽然人数不多，但在当时的中国却是首屈一指的，只有张之洞的自强军在装备和训练方面能与之匹敌，其馀均不能同它相提并论。因此，崇信“有军则有权”的袁世凯，把它看作自己的命根子。他清楚地知道，若要在黑暗腐败、尔虞我诈、倾轧激烈的政治舞台上站住脚，一步步爬上去，一要有靠山，二要有资本。现在他尽管打通了某些权贵的关节，可是还说不上有了十分牢固的靠山。对他来说，只有这支新建陆军才是货真价实的政治资本。如能把它训练好，使之发挥出维护清王朝统治的重大作用，自己就有了飞黄腾达的保障。另外，他也考虑到新建陆军系创练新军的模范，将来别省添练新军，必定由这支军队中抽调骨干担任教练；这样，他们就会步步高升，而自己是新军的开山鼻祖，肯定也要成为全国新军的总头目。所以，他一接管军队，即“每日与士卒共奔走”，“汰弱募强，拟订规则，考将弁，申号令，殊形忙苦”，把全部心血倾注进去，事无巨细，靡不亲躬，克服困难，下决心训练掌握好。他一向争强好胜，不轻易叫苦，但繁重的工作也累得他昏头涨脑，时感“左支右吾”，“才力短浅”，“实难胜任”。
组建一个新军班底对袁世凯来说是特别重要的。他首先挑选了一些在朝鲜时的老部下充当各级军官，又从北洋武备学堂毕业生和原来的部队中物色了一批，另外还请李鸿章推荐了部分人才。
担任左翼翼长的为姜桂题，右翼翼长为龚元友。统带有段祺瑞、杨荣泰、吴长纯、徐邦杰、任永清、王士珍等。王英楷担任了执法营务处的总办，参谋营务处总办为徐世昌。
徐世昌字卜五，号鞠人，又号瞍斋，原籍直隶天津，生于河南汲县。早年在河南与袁世凯结识，由袁世凯资助进京应试。1882年中举人，1886年中进士，1889年授职编修，兼充国史馆协修、武英殿协修。1896年12月其母病故，他丁忧在籍。1897年8月，袁世凯奏请将其调来。徐世昌到后，帮助袁世凯赞画一切，成为袁世凯最得力的智囊和军师，袁世凯有事外出时，他便代为管理军队。
冯国璋字华甫，直隶河间人。他到新建陆军更晚，初任督操营务处帮办，后任总办。段祺瑞字芝泉，安徽合肥人。王士珍字聘卿，直隶正定人。他们皆毕业于北洋武备学堂，有一定的近代军事知识，后来被称为“北洋三杰”，王士珍、段祺瑞、冯国璋分别获得“龙”、“虎”、“狗”的绰号。
被网罗在其麾下的，还有段芝贵、梁华殿、刘永庆、陈光远、王占元、张怀芝、何宗莲、马龙标、雷震春、吴凤岭、赵国贤、田中玉、孟恩远、陆建章、曹锟、张勋、王怀庆、倪嗣冲、阮忠枢等。比较低级的军官、哨弁，是通过考试，按成绩优劣委任的。
在军事组织机构方面，成立了新建陆军督练处，袁世凯自领督练官。下设参谋、督操、执法三个营务处，以及粮饷局、军械局、转运局、军医局、教习处（后改为洋务局），负责训练、运输、军械、辎重、军法和研究西方军事方面的工作，制定了各种章程，使军队的组织、制度和规模逐渐完备。
建军以后，又成立了步兵、炮兵、工程兵和德国语言各随营军事学堂，以及讲武堂、学兵营，让学员学习兵法、枪炮、算学、测绘、地理、战阵攻守和德国语言文字，培养造就新的军事人才。
袁世凯怎样练兵呢？他任军机大臣后，有一次和张之洞闲谈时，张之洞问其练兵的秘诀。他说：“练兵的事情，看起来似乎很复杂，其实也很简单，主要的是要练成‘绝对服从命令’。我们一手拿着官和钱，一手拿着刀，服从就有官有钱，不服从就吃刀。”袁世凯在淮军数年，懂得“兵为将有”的重要性，一心要把军队变成私人武装，除他之外，任何人不能驾驭，所以特别强调“绝对服从命令”。为达此目的，他的确不惜金钱和地位。他所招致的一批官员，当时大都地位很低或不甚得志，网罗进来之后，立即委以重任；其后更屡加保举提拔，结以恩遇，使之对自己效忠。
不仅如此。袁世凯还用慷慨送美人的手段加以笼络控制，对文案阮忠枢即是典型的一例。一天，阮忠枢在天津某妓院结识了妓女小玉，二人感情笃好，欲纳为妾，对袁世凯讲了。袁世凯借口有碍于军誉，没有同意，阮忠枢只好作罢。事过之后，袁世凯便秘密派人将小玉赎出，并购置了房舍和各项陈设，然后带阮忠枢赴津。这时天色已晚，阮忠枢随袁世凯进入一个院中，见房中铺陈异常华丽，堂上红烛高烧，摆着丰盛的酒席。及至进入屋里，便见一个丫鬟一面喊着“新姑爷到啦！”一面从里间屋里搀扶出一位新娘打扮的俏丽佳人。阮忠枢不明所以，如坠五里雾中；再仔细一看，始知新娘便是自己朝思暮想的小玉，方才恍然大悟，从此对袁世凯更加忠实效劳，直到袁世凯死去。
对那些不愿绝对服从的官员，当然就像袁世凯说的，令其“吃刀”了。即使不能检束兵丁、尽心职守或其他并不严重的过失，他也严惩不贷，不是降薪、罚薪，就是记过、撤职、降职、用军棍重责。
官员的进退荣辱完全操在袁世凯的手中，他们为了追求个人的名利地位，只能唯袁世凯之命是从，而且思想上都有一种对袁世凯报恩的观念。名义上他们是朝廷的臣子，实际上同袁世凯的关系带有浓重的封建人身依附性质。后来他们大都成为袁世凯的亲信、心腹、死党和北洋军阀集团的要员，即所谓小站系军阀。
为使士兵绝对服从自己，供其驱使，袁世凯用极端严格的纪律束缚他们。他制定的《简明军律》规定了十八条斩罪，即：临阵进退不候号令及战后不归伍者斩；临阵回顾退缩及交头接耳私语者斩；临阵探报不实，诈功冒赏者斩；遇差逃亡，临阵诈病者斩；守卡不严，敌得偷过，及禀报迟误，先自惊走者斩；临阵奉命怠慢，有误戎机者斩；长官阵殁，首领属官援护不力，无一伤亡，及头目战死，本棚兵丁并无伤亡者，悉斩以徇；临阵失火误事者斩；行队遗失军械及临阵未经受伤抛弃军器者斩；泄露密令，有心增减传谕及窃听密议者斩；骚扰居民，抢掠财物，奸淫妇女者斩；结盟立会，造言惑众者斩；黑夜惊呼，疾走乱伍者斩；持械斗殴及聚众哄闹者斩；有意违抗军令及凌辱本管官长者斩；夤夜窃出，离营浪游者斩；官弁有意纵兵扰民者并斩；在军营吸食洋烟者斩。最后还有两条：夜深聚语，私留闲人，酗酒赌博，不遵约束及有寻常过犯者，均由该管官酌量情节轻重，分别插箭责罚；凡兵丁犯法情节重大者，该管官及头目失察，均分别轻重参革、责罚、记过。此外，在行军、住宿、操练等方面均有极其详细烦琐的规定。严格执行的给以奖赏或提拔，做不到的施行种种处罚。
为使官兵忠实于自己，袁世凯不仅经常教育他们要“公忠体国，深明大义”，“亲上死长”，并把这些训诫编为四言白话，刊发各哨，令兵丁熟背；经常颁发“训词”，要各级军官向士兵训话；而且特别强调“事事以本督办为心”，大树特树个人权威；甚至宣扬封建个人迷信，让各兵营供奉他的牌位，把他奉若神明，视为衣食父母。为使士兵拼死卖命，还让幕僚编了一些顺口溜令士兵背诵，灌输封建伦理、升官发财、宿命论思想。如《劝兵歌》讲：“为子当尽孝，为臣当尽忠。朝廷出利借国债，不惜重饷来养兵。一兵吃穿百十两，六品官俸一般同。如再不为国出力，天地神鬼必不容。自古将相多行伍，休把当兵自看轻。一要用心学操练，学了本事好立功；……二要打仗真奋勇，命该不死自然生。……你若常记此等话，必然就把头目升；如果全然不经意，轻打重杀不容情！”再加不时施点小恩小惠，如亲自监督发放饷银，防止官员克扣，取得士兵好感，士兵头脑中便渐渐地只知有袁世凯，不知有国家、皇帝了。
新建陆军的编练是中国军制改革史上的一个重大转折，比起旧有军队，它大大前进了一步，实开中国陆军近代化的先河。在这一改革过程中，袁世凯是出了一份力的，功不可没。然而，由于他把军队视为私有财产，这支近代化的军队非但从未发挥过抵抗列强侵略、保卫国家人民的好作用，反而成为他进行政治投机的强大资本和祸国殃民的重要工具。凭借这笔资本，他的地位扶摇直上，很快登上政治舞台，成为近代中国风云一时的人物。
在练兵过程中，袁世凯并不是一帆风顺的。1896年4月，练兵刚刚进行三个多月，其作风跋扈、嗜杀擅权即为军机大臣李鸿藻所闻。李鸿藻爱惜名誉，听后深为不满，一反保举袁世凯时的态度，授意御史胡景桂参劾袁世凯克扣军饷，诛戮无辜，用人“论情面之大小，馈遗之多寡”。如此沉重的打击，搞得袁世凯“心神恍忽〔惚〕，志气昏惰，所有夙志，竟至一冷如冰”。可是一听到奉命去查办的是荣禄，他立即忧惧并释。荣禄一到，他极力巴结逢迎，命士兵操演。荣禄第一次目睹洋操，别开生面，不觉大喜；加上不爱惜名誉，只求扩展自己的实力，想把袁世凯收为己用，便做出了保护袁世凯的决定，对随行的幕僚陈夔龙说：“此人必须保全，以策后效。”回京以后，荣禄令陈夔龙拟奏稿。陈夔龙因袁世凯确实擅杀过营门外卖菜的老百姓，胡景桂所参各条仅有轻重出入，提出应将此案下部议处。荣禄说：“一经部议，至轻亦应撤差。此军甫经成立，难易生手，不如乞恩姑从宽议，仍严饬认真操练，以励将来。”最后竞以“查无实据”复奏，请求“勿庸置议”。不仅如此，还着实把袁世凯夸赞一番，说他“血性耐劳，勇于任事”，是个“不可多得”的将领。在荣禄的包庇下，这场风险很快过去了，他又精神抖擞起来，越发投靠荣禄，依附荣禄而自固。
1897年7月，袁世凯因练兵有功，晋升为直隶按察使，仍专管练兵事宜。他的官运开始亨通了。