祖衝之，字文遠，生於宋文帝元嘉六年（429）祖籍範陽郡遒縣（今河北省淶源縣）。範陽祖氏是北方的著名士族之一。在西晉末至東晉初年北方居民大量南遷時，祖氏家族也遷居江南，到祖衝之時已曆數世。祖衝之出身於一個封建士大夫家庭，而且祖輩精於科學技術。他的曾祖父祖台之，在東晉官居侍中之職。祖父祖昌在劉宋官至大匠卿，掌管官室、宗廟、陵寢等大工程的設計與營造，具有很高的水平。祖衝之的父親祖朔之，官奉朝請。祖家曆代對天文曆法都很有研究。少年時期的祖衝之，對自然科學、文學和哲學的濃厚興趣，並特別偏愛天文與數學。他刻苦地學習古今各方麵的知識。
兼收並蓄少數民族的文化科學知識。他“博訪前墳，遠稽昔典，五帝躔次，三王交分，《春秋》朔氣，《紀年》薄蝕”；他攻讀“談、遷載述，彪、固列誌，魏世注曆，晉代《起居》”（《南齊書·祖衝之傳》）。躔次，是指日、月及金、木、水、火、土五星在天體運行中的位置；交分，是日、月在天體運行中相交的分次；朔氣即節氣；薄蝕，即日、月食。祖衝之在讀古今典籍的時，學習的重點乃是有關天文曆算方麵的知識。對古代科學家劉歆、張衡、闞澤、劉徽、虞喜、趙匪欠等人的著述和學說，他都刻苦鑽研，悉心領會。他經過認真的學習和深入的研究，對二千餘年的天文曆算知識，都熟練地掌握。他說：“加以親量圭尺（測量日影的圭表與量尺），躬察儀漏（測量天體運行的渾天儀和計算時間的刻漏），目盡毫厘，心窮籌莢（運用古代計算工具算籌來進行計算），考課推移（核算天象的運行），曲備其詳矣。”（《南齊書·祖衝之傳》）祖衝之親自對天象的觀測和對數據的計算，成為一個對天文曆算有淵博知識的科學家。
祖衝之的知識與能力，得到了宋孝武帝劉駿的賞識。劉駿讓他參加皇家學術研究機構的科學研究工作。並“賜宅宇車服”以表示對他的才學的獎勵。劉駿是個暴君，而且生性疑忌，由於他的殘暴和猜忌，諸王和鎮將們曾先後起兵作亂，使劉宋朝廷陷於骨肉相殘，君臣互疑的一片混亂之中。劉駿能重用祖衝之，實屬難能可貴。祖衝之隨皇族南徐州刺史劉子鸞來到南徐州（今江蘇省鎮江市），任南徐州從事。劉子鸞被擢任司徒時，祖衝之又官司徒府參軍。
宋文帝元嘉年間，使用的是何承天的《元嘉曆》。何承天是劉宋時著名的天文曆算家。祖衝之年輕的時候，曾拜何承天為師，學到了許多天文曆法的知識。祖衝之在學習《元嘉曆》的時候，發覺這種曆法不夠精密，認為“置法簡略，今已乖遠”。既沒有運用“歲差”，閏法也仍襲用19年7閏的傳統，於是就產生了進一步修改它的想法。當有人知道他這個想法以後，就勸阻他說：“何承天是你的恩師，他七十多歲才製定了《元嘉曆》，真是不容易呀，你現在隻有三十多一點，就想爬到老師的頭上去嗎？我看你還是不要輕舉妄動，以免惹人笑話。”祖衝之聽了以後，嚴肅地說：“何承天老師能刻苦鑽研，又敢於創新，他的曆法比古代曆法精密，他的成就是不可磨滅的。我從小就尊敬他，現在仍然尊敬他。但是，今天我經過更精密的測算，發現他的曆法有些不妥當的地方。為什麼不能進一步創新？我不想爬到老師的頭上，但也不能死抱著《元嘉曆》不放，不再前進。”祖衝之終於在宋孝武帝大明六年（462年）創製出自己的新曆法——《大明曆》。於是他上表朝廷，奏明自己製定新曆法的過程，並請檢驗采用，孝武帝今朝中善曆法的大臣進行討論能否采用時，卻遭到權臣戴法興的百般阻撓。