在康熙帝的眾多後妃中，胤祥的生母章佳氏並不據有顯赫的位置。她出身一般，是滿洲鑲黃旗參領海寬的女兒。初入宮，冊封妃。她於康熙二十五年（1686年）生皇十三子胤祥，二十六年（1687年）生皇十三女，三十年（1691年）生皇十五女。在四年零兩個月內，連續生了三個孩子。這在玄燁中年以後的嬪妃中再無二例，說明她一度很受皇帝的寵幸。但是，她享壽不長，康熙三十八年（1699年）去世。這時，她的兒女尚幼，胤祥14歲，皇十三女13歲，十五女9歲。
幼年喪母，胤祥和兩個妹妹隻好由其他嬪妃代為撫養。據說，撫養胤祥的是德妃烏雅氏，即後來繼承皇位的雍正帝胤禛的母親。胤禛比胤祥大8歲。可能正因為命運的這一安排，使他與胤禛最為親善，並影響了他的一生。
胤祥6歲開始在皇宮內就學讀書。學習內容包括滿漢文化，儒家經典，以及書法繪畫。他的師傅法海，是康熙帝玄燁的舅舅佟國綱的第二子，換句話說，法海是玄燁的表弟，也即胤祥的表叔。法海是當時滿洲人中不可多得的博學碩儒。他23歲考中進士，授為翰林院庶吉士，又奉命在南書房行走，成為玄燁身邊的文學詞臣。康熙三十七年（1698年），玄燁選派他在懋勤殿輔導皇十三子胤祥、皇十四子胤禵（雍正繼位後胤改為允）。胤禵是胤禛胞弟，胤祥與胤禵一同就學，同樣反映了他與胤禛的特殊關係。這時，胤祥13歲，胤禵11歲。他們在法海門下一學就是10年，兩兄弟後來才學俱佳，與法海執教有很大關係。
康熙三十七年（1698年）七月，12歲的胤祥第一次跟隨皇父去盛京謁陵後，直至四十七年（1708年）九月一廢太子事件發生前整整10年間，康熙帝隻要離開京師，無論去哪裏，必將胤祥帶往。僅此即足以說明，康熙帝對他是另眼相看的。胤祥在雍正年間作為皇帝最得力助手的種種表現，也充分表明他除去具備較高的文化素養外，還頗有辦事才力，善於協調人際關係，是一難得人才。這應是胤祥為康熙帝所青睞的主要原因。
胤祥能文能詩，書畫俱佳。康熙四十一年（1702年），玄燁南巡，皇太子胤礽、皇四子胤禛、皇十三子胤祥隨駕。某日，玄燁在行宮召集大臣和皇子們研習書法。不僅親書大字對聯當場展示，還邀請眾人觀賞皇四子胤禛和皇十三子胤祥書寫的對聯，據說，諸臣環視，“無不歡躍欽服”。如此驚歎的舉動，自然有阿諛逢迎的成分，但兩位皇子擅長書法確是事實。這一年，胤祥17歲，如果不是心裏有底，玄燁又怎麼會讓他同皇兄一起當場獻技呢？胤祥繼承了滿洲人的傳統技藝，騎馬射箭樣樣精通。有記載提到，他“精於騎射，發必命中”。有一次出巡狩獵，一隻猛虎突出林間，他神色不動，手持利刃向前刺之，見者無不佩服他的神勇。
康熙四十三年（1704年）前後，皇八子胤禩的老師何焯在給家人的信中，也提到十三殿下為皇帝所鍾愛者，前途無量。不足20歲的胤祥受到皇父的器重，連供職清廷的漢族文人也一清二楚。但在第一次廢太子時，胤祥因“與二阿哥好，橫遭大阿哥嫉妒陷害，無辜株連於二阿哥”，失寵於康熙，終康熙之世，既無重用，也沒有受封。至於網上流行的胤祥曾被“十年圈禁”一說，為文學影視作品杜撰，不足信。有大量史料，如皇子請安折、出席康熙六十大壽、拉攏文士屈複等，能夠證明胤祥在康熙四十七年（1708年）至康熙六十一年（1722年）的14年間擁有行動自由。
胤祥和雍正早年的關係，雖然沒有太多史料可尋，但可以肯定兄弟倆是親密無間的。雍正給胤祥的祭文中提到胤祥的算學由他親自教授，“憶昔幼齡，趨侍庭闈，晨夕聚處。比長，遵奉皇考之命，授弟算學，日事討論”。每逢塞外扈從，兄弟倆“形形相依”。當康熙出巡隻帶他們其中一個扈從時，即使短暫分別，兩兄弟也會詩書往還。雍正還把他和十三弟唱和的詩作收在詩文集中，讓胤祥的少數作品得以傳世。