张全义，生于唐敬宗宝历元年，出身十分贫苦，祖祖辈辈都是农民。张全义长大后，为了生存，便到当地县衙里当了仆役，曾多次遭到县令的欺压和污辱。因此，当王仙芝的起义军到达滁州一带时，他就积极参加了王仙芝的军队，王仙芝失败后，他又加入黄巢的起义大军。在军中，张全义作战英勇，又精明能干，迅速得到提升，在黄巢起义军攻占长安后，他被任命为大齐农民政权的吏部尚书兼水运使。在当时，吏部尚书主管政府的官吏考核与任免，权力大，职位也十分重要；而水运使更是担负着为长安百万义军从水陆征途筹集粮食的重任。从这两个职务可以看出，张全义在黄巢起义军中所占的重要位置。
不久，黄巢起义在唐朝军队和唐朝借助的外族军队的联合镇压下失败，张全义也像许多农民起义军将领一样，投降了唐朝。张全义见河阳节度使诸葛爽较有势力，便投靠了他，诸葛爽屡次派他剿杀起义军残部和袭击其它军阀，张全义立了许多战功。在诸葛爽的推荐保举下，张全义被任命为泽州刺史。不久，诸葛爽病死，其部下李罕之与刘经相互仇杀，都希望能占领洛阳。当时，张全义是刘经的部下，刘经认为张全义既可靠，又有作战经验，就派他去抵抗凶悍的李罕之。张全义带着刘经给他的兵马来到前线，发现李罕之的势力很大，而且战斗力很强，不仅自己，就是刘经亲来也无法抵敌。在分析具体情况后，张全义就毫不迟疑地投靠了李罕之，反过来与刘经为敌，刘经见张全义背叛，只得向诸葛爽的儿子诸葛仲求援。在诸葛仲的支持下，刘经打败了李罕之。李罕之见刘经求救于人，也不甘示弱，就向以镇压农民起义军起家的大军阀李克用求救。得到李克用的帮助后，李罕之又反败为胜，占领了许多地方。这样，张全义又被李罕之推荐为河南尹。
这河南尹的官员比泽州刺史的官权大了些，但却很不好当。李罕之是个只懂得杀人抢掠、征战杀伐的军阀，根本就不懂得安顿流民，组织生产，总是接二连三地向张全义催逼军需物品。当时民生凋敝，饿殍遍地，军粮极难筹集，尽管张全义尽力供应，还是无法满足李罕之的要求，加之李罕之性格暴躁，弄得无人敢去送粮。许多部下都劝张全义脱离李罕之或是干脆反叛，可张全义总是好言劝慰，不露声色。
张全义深深知道，长此以往，自己必然会与李罕之闹翻，必须及早打算。于是他表面上顺从李罕之，在军需方面尽量满足他的要求，使李罕之不起怀疑之心；另一方面，他积极准备，窥伺时机。唐僖宗文德元年李罕之再起战端，率兵攻打晋、泽二州，张全义见时机来临，就率领本部兵马不费吹灰之力占领了李罕之的洛阳，自封为洛阳节度使。李罕之闻讯大怒，立刻向李克用求援，李克用马上派兵帮助李罕之去收复洛阳。在未占领洛阳之前，张全义就已做好准备，同军阀朱温联系，求他帮助，朱温正扩展势力，便欣然接纳，派兵帮他守住洛阳。李克用的军队到来时，朱温的援军已严阵以待，李克用的军队只好撤走。朱温帮了张全义的大忙，从此，张全义就投在朱温的门下。朱温对这个投靠过来的张全义并不放心，不敢给他兵权，深怕他在什么时候反过来咬自己一口。只给了他一个没有实际兵权的检校司空的军衔，并仍让他作河南尹，去河南一带组织生产。
张全义任河南尹的时候，朱温的势力越来越大，最后终于发展到代唐自立。朱温用武力把唐昭宗挟持到洛阳，做好杀他的准备，想废掉唐朝，建立朱氏后梁政权。但洛阳地区是张全义的势力范围，张在这一带的威信较高，朱温生怕张全义反对他篡唐自立，就事先撤掉了他的河南尹的职务，封他为东平王，给他换了一个中书令的虚衔。
张全义已是官场老手了，他深深地知道，朱温仍然不相信他。这时唯一的办法，是在朱温自立为皇帝的时候替他出力，这样才能表示出自己的忠心，取得朱温的信任。于是，张全义替朱温出谋划策，把河南一带的财力都集中给了朱温，让他自己调度使用。这么一来，说自己不配封王，无力担任中书令的职务，朱温都有些感动。朱温当了皇帝后，对张全义加官进爵，封他为魏王，让他重任河南尹。