小德张原名张祥斋，天津静海县南吕官屯人。他幼年丧父，其母董氏生他及胞兄二人，相依为命，生活十分困苦。光绪十四年（1888年），张祥斋已长到12岁，生得肤色白净，眉清目秀，但贫困的生活压得他喘不过气来。当时，静海县有许多幼童因生活所迫进宫做了太监，也有个别人入宫后发达起来，这些对向往富贵的张祥斋来说无疑是莫大的诱惑。终于有一天，张祥斋咬紧牙关，自己动手净了身，光绪十七年（1891年）张祥斋入宫做了一名小太监。当时宫中太监都有辈分，张祥斋为“兰”字辈。起名为张兰德，宫号小德张。
小德张入宫后，被分配在茶坊供事。他的顶头上司是太监“哈哈李”。这个“哈哈李”性格乖戾，欺上压下，刚愎自用，以打小伙计狠出名。小德张也不例外，所挨之打不计其数。进宫一个多月，小德张便明白了，这茶坊不要说见皇上，连太后、皇后、太妃、贵妃，甚至连出头露面的总管太监也见不到，能见到的顶大的也就是个首领太监——“哈哈李”了。小德张想：这下子算完了，我本打算进宫伺候皇上，发财的，如今在茶坊这个鬼地方，工作这么辛苦，俸禄又这么少，整天还受这个哈哈李的虐待。
小德张进宫一年，在茶坊里侍候“哈哈李”一年，也挨打挨了一年。身上青一块、紫一块的不说，头上的疙瘩是大疙瘩旁边有中疙瘩，中疙瘩旁边有小疙瘩，大疙瘩上头还有小疙瘩，一句话，就是疙瘩上摞疙瘩，疙瘩空里挤疙瘩，旧疙瘩没下去，新疙瘩又长起来。小德张暗下决心，绝不能就这样下去，自己的发财梦不能就这样结束，与其在这里被人活活打死，还不如奋力一搏。一定要走出茶房这个鬼地方。于是，小德张变着法儿和“哈哈李”斗，“哈哈李”头疼不过，心想一定要治治这个不知好歹的坏小子。他想到升平署是宫里边太监当差最苦最累的地方，就把小德张调到升平署学戏。