历史上有“侠王”之称的十三阿哥胤祥怎么就和以阴谋诡计著称的四阿哥胤禛结成死党了呢？康熙皇帝知人善用，十三阿哥胤祥文才武略，可究竟又是为什么康熙皇帝偏偏不给十三阿哥胤祥一个光明的政治前途，甚至还直接致使他落下了一身残疾呢？胤祥出生在一个人口众多的特殊家庭。他的父亲康熙帝玄烨，因早婚、早育、多后妃，生养了众多子女。
在清朝皇帝中，玄烨的后妃人数是最多的，与玄烨同葬景陵的一共55位，其中皇后4人，皇贵妃3人，贵妃1人，妃11人，嫔8人，贵人10人，常在9人，答应9人。需要说明的是，玄烨生前册封的后妃，只有皇后3人，贵妃2人，妃11人，嫔5人，贵人11人，常在14人，答应9
人。他死后，因雍正、乾隆二朝对其妃嫔又有追封，才出现后妃品级不同的现象。
这就是说，胤祥的生母、嫡母、庶母加在一起有55位以上。一个皇子有这么多的母亲，不仅在清朝，即便是在中国历史上大概也是屈指可数了。
何况，他的兄弟姐妹也多得惊人。玄烨12岁（周岁11岁）大婚，两年后（1667）即14岁第一个孩子出生，至65岁最后一个孩子出生，玄烨前后一共生有55个子女。胤祥曾有过54个兄弟姐妹，这又是一个奇迹。
在康熙帝的众多后妃中，胤祥的生母章佳氏并不据有显赫的位置。她出身一般，是满洲镶黄旗参领海宽的女儿。初入宫，册封妃。她于康熙二十五年生皇十三子胤祥，二十六年生皇十三女，三十年生皇十五女。在四年零两个月内，连续生了三个孩子。这在玄烨中年以后的嫔妃中再无二例，说明她一度很受皇帝的宠幸。但是，她享寿不长，康熙三十八年（1699）去世。这时，她的儿女尚幼，胤祥14岁，皇十三女13岁，十五女9岁。估计章佳氏本人死时也还年轻。章佳氏死后，玄烨降谕礼部：“妃张雅氏（章佳氏）性行温良，克娴内则，久侍宫闱，敬慎素著。今以疾逝，深为轸（ｚｈěｎ）悼，其谥为敏妃。”
幼年丧母，胤祥和两个妹妹只好由其他嫔妃代为抚养。据说，抚养胤祥的是德妃乌雅氏，即后来继承皇位的雍正帝胤禛的母亲。这种阴错阳差的安排，早早就把他与胤禛的命运联系在一起。两兄弟自幼晨夕聚处，感情深笃，胤禛奉命教胤祥算学，日事讨论。每逢塞外扈从，也形影相依。兄弟相聚，宴集唱和，弟有所作，每就正于兄；兄扈从塞外，弟也间或有句相赠。胤禛长胤祥8岁。这种密切的手足之情，伴随他们终生，经受了严峻的考验，而胤祥人生的得与失，喜与悲，荣与损，起与落，又无不以此种关系来贯穿。
在清朝皇室中，皇子皇女幼殇的比例很高，康熙帝玄烨的子女也不例外。他的55个子女内，长大成人的只有28人。55位子女的平均寿命，只有2695岁。胤祥的两个胞妹虽长大成人，也都寿命不永。他的大妹妹（皇十三女）20岁受封为和硕温宪公主，远嫁蒙古翁牛特部博尔济吉特氏杜凌郡王仓津，三年后因难产死去，时年23岁。他的小妹妹（皇十五女）18岁时受封和硕敦恪公主，下嫁蒙古科尔沁部博尔济吉特氏台吉多尔济，一年后去世，年仅19岁。这样，两个与胤祥血缘最近的亲人就过早离世了。
胤祥6岁开始在皇宫内就学读书。学习内容包括满汉文化，儒家经典，以及书法绘画。他的师傅法海，是康熙帝玄烨的舅舅佟国纲的第二子，换句话说，法海是玄烨的表弟，也即胤祥的表叔。法海是当时满洲人中不可多得的博学硕儒。他23岁考中进士，授为翰林院庶吉士，又奉命在南书房行走，成为玄烨身边的文学词臣。康熙三十七年（1698），玄烨选派他在懋勤殿辅导皇十三子胤祥、皇十四子胤祯（雍正继位后改为允）。胤祯是胤禛胞弟，胤祥与胤祯一同就学，同样反映了他与胤禛的特殊关系。这时，胤祥13岁，胤祯11岁。他们在法海门下一学就是10年，两兄弟后来才学俱佳，与法海执教有很大关系。
胤祥幼时很得父皇宠爱。13岁时，胤祥第一次离开京城，随父皇玄烨前往谒陵。此后，玄烨经常带他四出巡幸。玄烨一生先后六次南巡，在诸皇子中，随行次数最多的，就是胤祥。玄烨第三、四、五、六次南巡，他都参与其间。他还随同玄烨巡幸过京畿、陕西西安、山西五台山，或往塞外避暑围猎。这说明，他在青少年时代，曾深得父皇的宠爱。
玄烨有那么多皇子，众皇子对他犹如群星拱月，为什么却对胤祥偏爱？
第一，他自幼温文尔雅，在父亲面前显得很乖巧。《钦定八旗通志》记载：胤祥“幼偕诸王侍圣祖于宫廷。尝随行，以稚弱未能前视，圣祖过，寻履迹伏地嗅之，其孺慕诚切如此”。大意是说，胤祥幼时与诸兄一起侍从皇父于宫廷，因年龄小、个子矮，他几乎看不见在众人簇拥下一晃而过的父亲。为了表示对父亲的孝敬和仰慕，他不禁爬在父亲刚刚留下的脚印上一个劲地闻起来。这个记载或者有所夸大，但印证胤祥一生的行止，和他死后被追谥为“贤”来看，他在为人之道上，无论是对父母、对兄长、对臣民，都很符合儒家传统推崇的典范。
第二，他经过系统教育，加上本人的勤奋努力，才华横溢。能文能诗，书画俱佳。康熙四十一年（1702），玄烨南巡，皇太子胤礽、皇四子胤禛、皇十三子胤祥随驾。某日，玄烨在行宫召集大臣和皇子们研习书法。玄烨一时兴起，谈起自己习练书法的体会：“学书须临古人法帖，其用笔时轻重疏密，或疾或徐，各有体势。
宫中古法帖甚多，朕皆临阅。”说罢，他意犹未尽，又亲书大字对联当场展示。随即，
他邀请众人观赏皇四子胤禛和皇十三子胤祥书写的对联，据说，诸臣环视，“无不欢跃钦服”。如此惊叹的举动，自然有阿谀逢迎的成分，但两位皇子擅长书法确是事实。这一年，胤祥17岁，已学习书法多年，如果不是心里有底，玄烨又怎么会让他同皇兄一起当场献技呢？
胤祥随从父皇巡幸各地，开阔了眼界，丰富了阅历。他往往把内心感受即兴写成诗篇。他的诗清新隽永，很有意境。如《恭读御制耕织图诗敬成二律》：
历历三时况，如陈七月篇。
秋云青甸里，春雨绿畴边。
圣政先无逸，皇心重有年。
孜孜宵旰意，总向画图传。
玉帛梯航远，山龙绘绣工。
岂知寒女事，犹入睿吟中。
勤俭昭淳俗，劳思爱古风。
垂裳开至治，衣被万民同。
在诗中，他刻画了农村田园诗的秀色，歌颂了父皇贤明的治理，同时流露出对百姓生计的关切。
第三，他继承了满洲人的传统技艺，骑马射箭样样精通。有记载提到，他“精于骑射，发必命中”。有一次出巡狩猎，一只猛虎突出林间，他神色不动，手持利刃向前刺之。见者无不佩服他的神勇。
胤祥出生时，父亲给他取了一个寓意深刻的名字，依据的是《礼记·中庸》中的“国家将兴，必有祯祥”，给他取名胤祥，给他的弟弟（皇十四子）取名胤祯。然而，祝福归祝福，亦如出生在普通百姓家的子弟一样，胤祥的人生道路也充满了扑朔迷离的变数。