在康熙帝的众多后妃中，胤祥的生母章佳氏并不据有显赫的位置。她出身一般，是满洲镶黄旗参领海宽的女儿。初入宫，册封妃。她于康熙二十五年（1686年）生皇十三子胤祥，二十六年（1687年）生皇十三女，三十年（1691年）生皇十五女。在四年零两个月内，连续生了三个孩子。这在玄烨中年以后的嫔妃中再无二例，说明她一度很受皇帝的宠幸。但是，她享寿不长，康熙三十八年（1699年）去世。这时，她的儿女尚幼，胤祥14岁，皇十三女13岁，十五女9岁。
幼年丧母，胤祥和两个妹妹只好由其他嫔妃代为抚养。据说，抚养胤祥的是德妃乌雅氏，即后来继承皇位的雍正帝胤禛的母亲。胤禛比胤祥大8岁。可能正因为命运的这一安排，使他与胤禛最为亲善，并影响了他的一生。
胤祥6岁开始在皇宫内就学读书。学习内容包括满汉文化，儒家经典，以及书法绘画。他的师傅法海，是康熙帝玄烨的舅舅佟国纲的第二子，换句话说，法海是玄烨的表弟，也即胤祥的表叔。法海是当时满洲人中不可多得的博学硕儒。他23岁考中进士，授为翰林院庶吉士，又奉命在南书房行走，成为玄烨身边的文学词臣。康熙三十七年（1698年），玄烨选派他在懋勤殿辅导皇十三子胤祥、皇十四子胤禵（雍正继位后胤改为允）。胤禵是胤禛胞弟，胤祥与胤禵一同就学，同样反映了他与胤禛的特殊关系。这时，胤祥13岁，胤禵11岁。他们在法海门下一学就是10年，两兄弟后来才学俱佳，与法海执教有很大关系。
康熙三十七年（1698年）七月，12岁的胤祥第一次跟随皇父去盛京谒陵后，直至四十七年（1708年）九月一废太子事件发生前整整10年间，康熙帝只要离开京师，无论去哪里，必将胤祥带往。仅此即足以说明，康熙帝对他是另眼相看的。胤祥在雍正年间作为皇帝最得力助手的种种表现，也充分表明他除去具备较高的文化素养外，还颇有办事才力，善于协调人际关系，是一难得人才。这应是胤祥为康熙帝所青睐的主要原因。
胤祥能文能诗，书画俱佳。康熙四十一年（1702年），玄烨南巡，皇太子胤礽、皇四子胤禛、皇十三子胤祥随驾。某日，玄烨在行宫召集大臣和皇子们研习书法。不仅亲书大字对联当场展示，还邀请众人观赏皇四子胤禛和皇十三子胤祥书写的对联，据说，诸臣环视，“无不欢跃钦服”。如此惊叹的举动，自然有阿谀逢迎的成分，但两位皇子擅长书法确是事实。这一年，胤祥17岁，如果不是心里有底，玄烨又怎么会让他同皇兄一起当场献技呢？胤祥继承了满洲人的传统技艺，骑马射箭样样精通。有记载提到，他“精于骑射，发必命中”。有一次出巡狩猎，一只猛虎突出林间，他神色不动，手持利刃向前刺之，见者无不佩服他的神勇。
康熙四十三年（1704年）前后，皇八子胤禩的老师何焯在给家人的信中，也提到十三殿下为皇帝所钟爱者，前途无量。不足20岁的胤祥受到皇父的器重，连供职清廷的汉族文人也一清二楚。但在第一次废太子时，胤祥因“与二阿哥好，横遭大阿哥嫉妒陷害，无辜株连于二阿哥”，失宠于康熙，终康熙之世，既无重用，也没有受封。至于网上流行的胤祥曾被“十年圈禁”一说，为文学影视作品杜撰，不足信。有大量史料，如皇子请安折、出席康熙六十大寿、拉拢文士屈复等，能够证明胤祥在康熙四十七年（1708年）至康熙六十一年（1722年）的14年间拥有行动自由。
胤祥和雍正早年的关系，虽然没有太多史料可寻，但可以肯定兄弟俩是亲密无间的。雍正给胤祥的祭文中提到胤祥的算学由他亲自教授，“忆昔幼龄，趋侍庭闱，晨夕聚处。比长，遵奉皇考之命，授弟算学，日事讨论”。每逢塞外扈从，兄弟俩“形形相依”。当康熙出巡只带他们其中一个扈从时，即使短暂分别，两兄弟也会诗书往还。雍正还把他和十三弟唱和的诗作收在诗文集中，让胤祥的少数作品得以传世。