张德生是陕西省榆林县人，先在榆林上小学，后在绥德四师、榆林中学读书。他在少年时期即接受进步思想，追求革命真理，青年时代读书时学习马列主义，积极投身反帝爱国运动。毕业以后，张德生以教师身份做掩护从事党的地下工作，他戴着一副眼镜，文质彬彬，穿着朴素，待人和谐，说话流利，课堂上他善于联系实际，引导学生关心国家大事，传播进步思想，深受师生欢迎。
1930年张德生加入中国共产党，由于工作出色很快便担任了中共府谷县委组织部长。同年8月，中共北方局派孔祥祯等人来到陕北，向陕北特委传达中共中央关于李立三路线的相关精神。10月初，陕北特委书记赵伯平在绥德主持召开特委会议，传达李立三路线和陕西省五次扩大会精神。会议决定成立陕北总暴动行动委员会，赵伯平任书记、孔祥祯任军委书记、谢子长和刘志丹分任总指挥和副总指挥，张德生以府谷县委代表身份出席了这次陕北特委会议。
始料不及的是，在陕北特委绥德会议前夕，国民党绥德县党部获悉中共陕北特委组织暴动的情况，密探又在街头发现了刘志丹，于是立即派军警四处搜捕，绥德会议尚未结束便紧急疏散。张德生打算取道榆林返回府谷，陕北特委秘书长刘澜涛急欲赴榆林开辟新的工作，两人决定同行北上榆林，谁知刚出绥德城北门即被国民党逮捕了。刘澜涛急中生智，将随身携带的党内文件及会议材料全部撕毁扔到河中，万幸的是敌人没能抓到任何把柄。
在狱中，张德生与刘澜涛坚贞不屈，大义凛然，表现了一个共产党员的崇高气节，敌人采取软硬兼施、分化瓦解的办法，未收到任何效果。后来，经党组织的大力营救和时任杨虎城将军秘书长的著名爱国民主人士杜斌丞先生大力帮助，两人得以获释出狱。不幸的是，与张德生同时出狱的刘澜涛，从陕北特委调往河北省委工作后不久，因叛徒出卖而再次被捕，被关进“北平军人反省院”（即草岚子监狱），直到1936年9月，刘澜涛在中共中央北方局的大力营救下才再次出狱。
1931年2月16日，张德生被营救出狱。这时榆林城内形势很紧张，国民党军警到处搜捕共产党人，军警以搜捕榆中进步学生为由，到他家查找“潜藏者”，眼看着在榆林难以立足，张德生开始了颠沛流离的生活。1931年4月他离开榆林，绕道伊克昭盟大沙漠，然后西去宁夏，踏上了职业革命的道路。
张德生离开榆林后，先后奔波于陕西、宁夏、甘肃、四川边界地区，转战于关中陕南。受党组织的派遣，他先赴宁夏银川重新建立了中共宁夏特别支部，并担任特别支部书记，后赴兰州担任中共甘宁青特委组织部长。甘宁青特委是1932年陕甘工农红军游击队失败后，中共陕西省委为了集中统一领导甘肃、宁夏、青海三省工作而建立的。成立甘宁青特委的同时，在原陕甘工农红军游击队的基础上，建立起西北抗日义勇军，组织发动了兰州兵变，继续开展武装斗争。
1933年4月，西北抗日义勇军在蒋介石调集“三省联军”“围剿”下失败，中共陕西省委及各地党组织遭到严重破坏，甘宁青特委也被破坏，张德生被迫离开兰州，奉命担任中共陕南特委组织部长、宣传部长，领导重建陕南地区中共党组织和工农红军的工作，积极协助特委广泛发动群众。
1934年，张德生在江西瑞金召开的中华苏维埃共和国第二次全国代表大会上当选为中央执行委员。10月，张德生受命赴上海中央局汇报工作，随后又奉命前往红四方面军传送秘密文件，并解决红四方面军与红二十六军和中央的联络问题。辛苦辗转之后，张德生见到了红四方面军领导人张国焘。但张国焘对于从白区来的张德生极不信任，在接受了张德生带给他的文件后，既不让张德生返回上海又不给他安排工作，并在警卫员的监视下，将其控制了起来。就这样，张德生随红四方面军在1935年3月辗转走上长征路。同年6月，中央红军主力历尽千辛万苦，粉碎敌人的围追堵截，抵达川西北的懋功与红四方面军会师。
懋功会师后，张德生在李维汉的安排下，调到了红军总部、中央局机关工作。此时，张德生随红军右路军北上，到达班佑、巴西地区，张国焘因反对北上，要求右路军中的红四方面军部队南下川康藏边。张国焘的行为将会导致红军分裂，并危害党中央。张德生对人多势大、气焰嚣张、处于权力巅峰的张国焘坚决说“不”，不顾个人安危，毅然决定选择了毛泽东的正确领导。
1935年8月中旬的一个夜晚，还在睡梦中的张德生被李维汉叫醒去“割麦子”。长期从事秘密工作的张德生很快意识到这话里有文章，二话没说就跟着走。原来，李维汉意识到张国焘南下、分裂红军的真实意图后，以“割麦子”的暗语带领张德生离开红四方面军，到了毛泽东领导的红一、三军团，继续北上征程，从而摆脱了险境。
张德生的大义凛然和机智果敢，赢得了党中央、毛泽东的信任。中央红军走出茫茫大草地以后，张德生参加了杨尚昆为队长的陕甘支队先遣队，毛泽东把与陕甘党组织、陕北红军联络的重任交给了张德生和贾拓夫，张德生与贾拓夫等一起，负责与陕甘边和陕北党组织的联络工作。张德生不负重托，与贾拓夫密切配合，很快就与陕北的党组织、陕北红军取得了联系，行军途中及时地向中共中央和毛泽东汇报沿途的风土民情及地理特点，为党中央、毛泽东确定行动方向，顺利到达吴旗镇与陕北红军胜利会师作出了贡献。