高祖文皇帝楊堅，是弘農郡華陰人。高祖的祖先叫楊震，他曾是漢朝的太尉。楊震有一個八代子孫楊鉉，楊鉉曾做過燕國的北平太守。楊鉉生下兒子楊元壽，楊元壽曾經出任北魏的武川鎮司馬，子孫也因此在那裏居住下來。楊家子孫都有非常顯赫的地位，楊元壽的兒子楊惠嘏和孫子楊烈，分別任職太原太守和平原太守，再到後來，楊烈的兒子楊禎被朝廷任命為寧遠將軍。
楊禎是高祖的祖父，高祖的父親是楊忠。楊忠跟隨周太祖在關西起兵，因功勳卓著，得太祖賜姓“普六茹”，官位也一路升至柱國、大司空，後來被任命為隋國公。楊忠去世後，周太祖特意追封他為太保，諡號“桓”。
大統七年（公元542年），在馮翊般若寺中，高祖的母親呂氏生下了高祖。當時，有一個從河東來的尼姑恰巧碰到，她對高祖的母親說：“這孩子的模樣非常特別，應該好好撫養，日後或許能成大事。”呂氏就將孩子托付給尼姑，那個尼姑將高祖安置在客館，並親自安撫喂養。高祖長大後，相貌奇特，儀表不凡。高祖的身材上身修長，而下身短促，顯得深沉卻又威嚴。起初進入到太學，大家都有點忌憚他的長相，即使是非常要好的朋友雖然和他親昵卻也不敢輕易注視他。
高祖十四歲的時候，京兆尹薛善特意征召他為功曹。十五歲的時候，高祖被封為散騎常侍、車騎大將軍和儀同三司等職務，同時被封為成紀縣公。當然，這與他父親的功勳是分不開的，高祖子憑父貴。十六歲時，他又升遷為驃騎大將軍。
周明帝即位後，任命高祖為右小宮伯，加封為大興郡公。周明帝信奉迷信，怕楊堅心生反意，就派善於相術的大臣趙昭為高祖看相。趙昭回來後假裝說：“楊堅就是普通人，最高不過能做個相國罷了。”不久以後趙昭私下對高祖說：“皇上對你產生了不信任，私下派人查探你，這恐怕對你極為不利，你好自為之，請牢記我的話！”周武帝即位後，高祖做了小官伯，離開京城去出任隨州刺史，並升遷為大將軍。後來武帝征召他回到京城，恰巧高祖母親臥病在床，三年當中，高祖晝夜服侍母親，寸步不移，當時的人都說他是孝子，品德高尚。
宇文護把持朝政的時候，非常嫉妒仇恨高祖，多次想要陷害鏟除他。因為得到大將軍侯伏、侯壽等人的幫助，高祖才能夠幸免於難。後來，高祖承襲了隋國公的爵位，周武帝又娶了高祖的長女為皇太子妃以後，對高祖恭恭敬敬，也更加信任他。齊王宇文憲想要加害高祖，私下對周武帝說道：“楊堅相貌與眾不同，我每次見到他有種不知所措的感覺，隻怕他不願屈居他人之下，這對您是個威脅，請皇上下令除掉他。”周武帝笑著說：“他是皇親國戚，手中握有重權，我怎能隨意動他。”內史王軌也曾多次建議周武帝，皇太子年紀太小，隻怕楊堅位高權重，日後威脅江山社稷。周武帝不高興地說：“如果這是上天的旨意，那該怎麼辦？”高祖知道這件事後十分恐慌，擔心惹來殺身之禍，隻能在平日裏刻意掩飾自己的言行舉止。
周宣帝時期，高祖的官職和威望越來越高，因此受到了皇帝的猜忌。皇帝有四個寵幸的妃子，四家爭寵，相互誹謗誣陷。皇帝經常氣氛地對高祖的女兒說：“一定要殺盡你們的九族！”有一次，皇帝對左右侍衛說：“待會楊堅來，倘若變了臉色，就殺掉他。”高祖來之後顯得鎮定自若，皇帝隻能無奈作罷。
高祖曾多次受到各種勢力的威脅，遭遇種種不測，幾乎被置於死地，但高祖憑借著聰明的才智和朋友的幫助，一一化險為夷，並最終登上大位。