後來，張衡到了洛陽，在洛陽結識了不少有學問的朋友，如馬融是當時著名的辭賦作家，又擅長於音樂，後來成了東漢的儒學大師；竇章也是一個很有學問的人，謙虛儉樸，很受當時人們的尊重；王符是當時有名的政論家，他的著作《潛夫論》一直流傳到現在，成為研究東漢時代社會情況的寶貴曆史資料；崔瑗對於天文學、數學、曆法等都有精深的研究。
在這些朋友中間，崔瑗對張衡的影響是最大的，他們經常在一起談論學問，交情也最深。這對於張衡以後研究天文、數學等科學並獲得巨大的成就，是有一定幫助的。
111年，張衡被征召到京師。三年後，張衡升為尚書侍郎，隔一年後又調做太史令。當時，太史令的職務主要是掌管曆法、觀測天文氣象等。這又給了張衡進一步研究天文曆算提供了更加方便的條件。
對於我國古代的天文學，張衡下了很大的工夫去研究，對各派的學說也作了充分的分析比較，並且對天象進行了實際觀測。到被任命為太史令後，他更加充分地利用這個便利的條件進行深入研究。
經過多年的苦心研究，張衡認為，之前的蓋天說是站不住腳的，而渾天說則比較合於實際。自此以後，張衡便以渾天說為基礎，加上自己觀察天象的心得，發展了原來的渾天說，創造出了一套新的、在當時最為完備的渾天學說。
張衡為後人留下了兩部在天文學史上占有重要地位的著作：一部是《靈憲》，另一部是《渾天儀圖注》。張衡的渾天學說主張：天是圓的，宇宙是無限的。這也是他的獨創的見解。他還認為，太陽是圍繞著地球不停旋轉的，並找出了太陽運行的規律（實際上是地球圍繞太陽旋轉的規律），並且指出赤道、黃道和北極的地位，也講出了為什麼夏季日長夜短、冬季夜長日短的原因。這是我國天文史上的輝煌成就。
以渾天學說為基礎，張衡在天文學上也作出了一係列創造性的重大貢獻。例如，他在《靈憲》這部書裏，說月是“向日稟（受）光，月光生於日之所照”。這就是說，月亮本來是不會發光的，月光是太陽光照在月亮上的反射。這是完全科學的。
他對月亮的盈缺也作出了解釋，認為月亮是繞著地球不停地旋轉的，當月亮轉到地球和太陽中間的時候，向著地球一麵受不到太陽光，而月亮自己又不會發光，因此一片黑暗，我們在地球上也就看不見月亮。這一天就是陰曆每月的初一，叫做“朔”；到陰曆每月的十五或十六，月亮轉到地球另一麵了，這時候地球處在太陽和月亮的中間，月亮被太陽光照亮的一麵，正好麵對著地球，因而在我們麵前就出現了圓圓的滿月，這一天叫“望”。
張衡還在《靈憲》這部書中說明月食的道理，認為：在望月的時候，月光被地球的影子遮住了，這就出現了月食的現象。這個解釋基本上也是正確的。
在《靈憲》裏，張衡還談到恒星。他認為：常明的星有124顆，可名的有320顆，在中原地區可以看見的星共有2500顆，在海外能看見的沒有計算在內。據現代天文學家的計算，到我們肉眼能夠看見的六等星為止，總數約6000顆，而在同一時間同一地方所能見到的星，也不過2500顆左右。可見，張衡的觀察是比較精確的。
張衡在天文學上這種創見和發現，在今天看來雖然並不為奇，而且還有不科學的地方，譬如他相信地球是天體的中心、日月是星辰繞地運行等等。然而在1900多年前科學水平還很低的時候，張衡能有如此見解，已經使我們不能不驚異於他的大膽創見和卓越智慧了。以張衡和世界各國同時代天文學家相比，他也是最傑出的一個。
不僅如此，張衡還根據他的渾天學說創製了遠遠超過前代的、世界上第一架能比較準確地測定天象的渾天儀。
為了製造這架儀器，張衡費了不少力氣和時間。他經過艱苦的研究和觀察，才設計出一個圖案來。他先用竹劈削成薄薄的篾片，在篾片上刻了度數，然後該編的編、該圈的圈，再用針線把篾片穿釘了起來，製成一個模型，作為試驗。經過多次試驗和修改，然後用銅鑄成正式儀器。
渾天儀是球形的東西，有個鐵軸貫串球心，軸的方向就是地球自轉的方向。軸和球有兩個交點——天球上的北極和南極，北極高出地平36度，這就是當時京師洛陽的地理緯度。渾天儀的外圈圓周為一丈四尺六寸一分，各層銅圈上分別刻著赤道、黃道、南北極和二十四個節氣以及二十八宿和日月星辰。當時已經發現了的天文現象，都在這架儀器上刻著表現出來。