成年後的鄭玄雖然有繼續鑽研經學的想法，但是因為家境貧寒，不得已開始出來謀生，在縣裏做地方小吏，管理賦稅和訴訟的事情，後來因為工作成績優異而得到提升，在這期間他仍然利用一切機會去學習。
21歲的時候，鄭玄已經成為一個滿腹才學的年輕學者，這個時候他遇到了當時的大名士杜密，受到杜密的賞識，被提拔到郡中任職，獲得了繼續學習和深造的機會。後來他辭去官職，進入太學，師從博士官第五元先生學習，此後10年的時間裏他又拜多位學問大師為師，讀萬卷書、行萬裏路。
30歲的時候，鄭玄已經成為山東地區（指山東、山西、河南、河北等地區）首屈一指的經學家了，這個時候的鄭玄雖然已經學富五車，但是他卻沒有絲毫的滿足，反而覺得自己的知識越來越不夠用。於是，他通過朋友盧植的關係，在33歲的時候離開家鄉，進入關西，拜當時東漢最著名的經學大師馬融（東漢著名經學家、古文經學大師，學問淵博，讓古文經學達到了成熟的境地）為師。
馬融有上千的門徒，經常跟隨在身邊的就有四百多人，其中比較優秀的有50餘人。馬融比較驕傲，雖然有眾多的門徒，但是卻隻親自麵授少數的高材生，其餘的學生就讓這些高材生傳授學業。一開始的時候，馬融並不看重鄭玄，所以鄭玄在馬融門下三年，竟然沒有見過馬融一麵，平時隻能聽馬融的高足弟子傳授學業。可是鄭玄並沒有因此放鬆學習，他仍舊日夜苦讀，研究學問。
有一次，馬融和自己的那些高材生在演算天文學問題時遇到一些難題而不能解答，他們找來了鄭玄，鄭玄圓滿地解決了那些問題，從此馬融對鄭玄刮目相看。他對盧植（漢末名將）說：“我們都不如鄭玄啊！”在以後的日子裏，馬融親自教授鄭玄，鄭玄的學業終於能夠更上一層樓。
鄭玄在馬融門下學習了7年，終於學問大成，因為父母已經年老，需要他回去侍奉，於是他辭別馬融回到故鄉。這個時候發生了曆史上非常有名的一件事，那就是馬融追殺鄭玄，這究竟是怎麼一回事呢？
話說鄭玄向馬融辭別之後，馬融已經預感到鄭玄會超過自己，他感歎從此以後禮樂的中心就要隨著鄭玄轉移到山東去了，於是心中非常嫉恨，就不想放鄭玄回去。鄭玄也料到馬融不會輕易放他回去，所以當他走到一座橋上的時候，就來到橋下，在水裏墊著一雙木板鞋坐著，想用這種方法躲避災難。不出他所料，馬融果然用“轉式盤”來占卜鄭玄的蹤跡，結果他占卜到鄭玄在土下、水上、靠著木頭，就料定鄭玄一定是死了，所以沒有派人追趕。於是鄭玄終於逃過一劫，安全返回家鄉。
鄭玄回到家鄉後開始聚眾講學，這時候的他已經成為精通古文經學和今文經學的大師了，對於百家之學更是無所不通。以鄭玄的名聲和學問本來是可以做官的，但是很不幸，鄭玄遭遇了兩次“黨錮之禍”，被終生禁止做官。於是他就隱居在家，開始了遍注群經的工作。他摒棄了古文經學和今文經學的差異和爭端，博采眾長，吸取各家的優點為經書作注。他很好地融合了古文經學和今文經學的相關主張和理論，將古文經和今文經融為一爐，獨創了鄭學，讓經學進入了“小一統”的時代。
當時的人們轉而崇尚鄭學，鄭學逐漸成為天下所宗的儒學。鄭玄對儒家經典所做的注釋，長期被封建統治者指定為官方教材，收入九經、十三經注疏中，對於儒家文化乃至整個中國文化的流傳作出了相當大的貢獻。
鄭玄在58歲的時候被解除了做官禁令，可是當時的東漢王朝也已走到了崩潰的邊緣。黃巾起義爆發後，東漢王朝多次征召鄭玄為官，都被鄭玄拒絕，他仍然專心從事著書講學的工作。後來他被大將軍何進強召入朝，結果還沒有等到授予官職他就逃走了。
鄭玄晚年顛沛流離，多次拒絕大軍閥大官僚的聘請，高標之風堪當海內名士。他和陶謙、袁紹、孔融等人都有來往，官渡之戰時他在袁紹的逼迫下隨袁軍南下，結果在途中染病去世，享年74歲。