趙高的祖上，原本是秦國王室的一位公子（1），高位厚祿，富貴榮華，衣食無憂。但秦國自商鞅變法後，以耕戰立國，以法律治國，啟用軍功爵製度（2），但凡沒有武功之人，即便是王室子弟，也難以得到升遷。由於沒有軍功或者功勞太少，這位秦國公子與其他兄弟以及他們的後代地位逐次降低，傳至趙高的父親這一輩時（3），已與普通庶民無異。
（1）《史記·蒙恬列傳》中說：“趙高者，諸趙疏遠屬也。”在《史記·田單列傳》也有著與之相似的筆跡：“田單者，齊諸田疏屬也”。意思是齊國名將田單的身世為齊國諸田（即齊國公族）。注意：“諸田”中的“田”字並不是一個國名而是齊國公族的氏。《史記》、《漢書》乃至《三國誌》等正史當中，有很多與此結構類似的詞組，如：諸姬、諸竇、諸呂、諸趙……因此，可判定《史記?蒙恬列傳》中“諸趙”的“趙”也是指氏，而不能簡單的理解為趙國。
《史記?秦本紀》最後一段總結性的指出秦國王室的姓氏：“秦之先為嬴姓，其後分封……然秦以其先造父封趙城，為趙氏”。可知：秦國與趙國同祖同宗，同姓同氏；即“嬴”與“趙”是秦國王室與趙國王族共有的姓與氏。
按照先秦（包括秦朝）貴族禮製，男子用氏，女子用姓，故稱趙高而不是嬴高（正史中稱秦始皇為趙政而不是嬴政，也是這個原因）。從秦始皇對趙高如此信任來看，他不可能是其他諸侯國的人；又根據上麵的材料可斷定：他是秦國王室的遠親。至於究竟是什麼樣的遠親，何時從趙氏公族之中分出，因為沒有其它更為確切的史料，已經無法準確地知道。
綜上所述，可知趙高並非如後世所傳的那樣是趙國人，實際上他是秦國人。
（2）軍功爵：軍功爵製的出現和確立，在先秦軍事史上具有劃時代的意義。在春秋以前列國普遍存在“世卿世祿”製度。列國在選拔人才，包括軍事將領時，實行“親親尊尊”的路線，即主要在奴隸主貴族中選取，平日村社各級首領，戰時也就是各級軍官。戰場上軍功一律錄於村社首領名下，而普通士兵無論在戰爭中立下多大功勞都被看作是因村社土地關係而產生的義務，軍功不會改變他們的社會地位。戰國時列國推行的變法運動，有力地打擊了舊貴族特權。而廢除“世卿世祿”製度，就為新的軍功爵製出台準備了社會條件。秦是推行軍功爵製最徹底的國家，對當時和後世的影響也最大。
秦的軍功爵製主要包括兩項內容：其一，“有軍功者，各以率受上爵”，意思是說凡立有軍功者，不問出身門第、階級和階層，都可以享受爵祿；軍功是接受爵祿賞賜的最必要條件。其二，“宗室非有軍功論，不得為屬籍”，即取消了宗室貴族所享有的世襲特權，使他們不能再像過去那樣僅憑血緣關係——“屬籍”，就可以獲得高官厚祿和爵位封邑。
（3）關於趙高的父親，史書上沒有記載。但據秦國子承父業、以吏為師的國策，又據《睡虎地雲夢秦簡》——《秦律十八種》之《內史雜》所載：“非史子醫殳（也），毋敢學學室，犯令者有罪。”，再從趙高本人精於書法、通曉律法來看，其父在書法和律法上的造詣估計也不低。
趙高的父親，喜好書法，通曉律法，是一位在隱官工作的小吏；趙高的母親，因為有罪而受過刑罰，以致身有殘疾，刑滿後自覺無處可去，為免受嘲笑亦不願被人瞧見，便自願入了隱官，兢兢業業地工作；忽一日，兩人碰麵了，卻並沒有泛起什麼漣漪，後來因工作之故，時常打交道，一來二去，時間一長，漸漸互生了情愫：趙高之父喜她誠誠懇懇，任勞任怨，無甚二話；對方自覺獨自過活也不是個事兒，終究要成家的，又喜他身材高大，沉默寡言，也是個不多話的人，便配合地與其眉來眼去；慢慢地，二人發展到了談婚論嫁的地步，可趙高之父雖業績突出，卻不善巴結，故待遇微薄，捉襟見肘，對方也不嫌棄，欣然與其在隱官成了家，不久，生下了趙高、趙成等人。