宦官集團的形成，往往與皇帝昏聵庸碌和年幼無知有關。宦官要依靠皇帝取得特權，皇帝要依靠宦官來牽製外朝，還要依靠宦官尋歡作樂，這就使他們必然連在一起。而宦官一旦掌權，由於變態心理的驅使，報複心特別強，加之又缺乏文化知識的修養，什麼壞事都幹得出來，因此是最黑暗的政治勢力之一。在這個集團中，雖然也有正直的宦官，但僅僅是極少數而已。
這些宦官依仗權勢巧取豪奪，聚斂了大量財富，紛紛修建豪華的住宅。有的宦官甚至娶了八十多位少女為妻妾，讓她們穿上華貴的衣服，打扮得像宮人一樣。為使香火不斷，後繼有人，他們還收養親屬或者異姓人為子。
公元160年，宦官單超病死，桓帝除追封他為車騎將軍外，賜以東園棺木以及棺中玉器，贈侯將軍印綬，並賜國葬，出殯時調動五營騎士、將軍、侍禦史護葬，將作大匠為其建造墳墓。死後如此，不難想見其活著的時候權力、財勢之大了。
此後，其他四侯更加有恃無恐、貪婪放縱、驕橫殘暴，震動朝廷內外。他們競相建築宅第，互相攀比華奢，其兄弟親戚無惡不作、行同盜匪、暴虐天下。當時有一首民謠諷刺他們的勢力：“左回天，具獨坐，徐臥虎，唐兩墮。”意思是左悺有回天之力，具瑗有獨尊之勢，徐璜有猛虎之強，唐衡有降雨之能。這首民謠把當時宦官勢力的強大非常形象地描繪了出來。
曆史上的專朝政者大多任人唯親，以壯大其聲勢，外戚如此，宦官也不例外。“五侯”得勢後，紛紛把本家的兄弟和姻親充塞到各級官府，擔任要職。單超的弟弟單安為河東太守，徐璜的弟弟徐盛為河內太守，左悺的弟弟左敏為陳留太守，具瑗的哥哥具恭為沛相，都是為害當地的貪官。
徐璜的侄子徐宣任下邳令，行事暴虐。他看上了汝南太守李皓的女兒，派人去求婚。汝南太守瞧不起這些靠宦官得勢的無賴之徒，因此拒絕了他。這使得徐宣懷恨在心，於是帶領吏卒到李皓家，把他的女兒搶上車拉回來，將她百般調戲、淩辱後又殘忍地用箭射殺，然後埋在了縣衙中。當時下邳縣屬東海管轄，有人向東海相黃孚告發了這起公開的殺人事件，黃孚大怒，於是將徐宣和他的家屬抓捕拷問。黃孚的屬下極力勸他不要這樣做，以免得罪宦官，黃孚憤怒地說：“徐宣這個國賊，我今天就是殺掉他，即使明天就判我死罪，我也可以瞑目了！”黃孚將徐宣的犯罪事實弄清楚後，依法將他處死，並暴屍街頭，老百姓對此無不拍手稱快！黃孚一身正氣、不畏強暴，使東海轄區內的不法之徒受到了震懾，但是他卻得罪了宦官。徐璜深深地怨恨黃孚殺掉了自己的侄子，在漢桓帝麵前誣告黃孚，昏庸的漢桓帝竟然聽信了讒言，沒有明察，就詔令治獄，黃孚被判了髡鉗（剃去頭發並用刑具束頸）重刑，謫入左校做苦工。
麵對更加“負勢貪放”的宦官們，白馬令李雲於公元159年九月，借著“災異數見”的機會，公開上書，認為“今官位錯亂，小人諂媚，財貨公行，政化日損”，矛頭指向宦官政治。桓帝覽奏後非常震怒，讓有司逮捕李雲，並詔使黃門北寺獄辦理此案，使中常侍管霸與禦史、廷尉調查處理，當時弘農府屬官杜眾感於李雲以忠獲罪，上書“願與雲同日死”，桓帝更加氣憤，把他們一同下獄。大鴻臚陳蕃、太常楊秉等均上疏言“其意歸於忠國而已”，也被桓帝下詔“切責”，並免官遣歸鄉裏，甚至連宦官管霸都說：“李雲野澤愚儒，杜眾郡中小吏，出於狂戇，愚而剛直，不足加罪。”但桓帝卻不依不饒，最終將二人處死。此後，“嬖寵益橫”。
桓帝還為自己袒護這些宦官，找了很多冠冕堂皇甚至是荒謬的理由：
首先，這些宦官在消除梁冀勢力、為自己奪回領導權的過程中，立了大功，為君者澤被天下，何況功臣。因此，當然不能虧待了他們。
其次，天子的近臣除了外戚就是宦官，現在外戚既已清除，便隻有宦官可以依靠。看來，依賴的思維定勢和平庸的政治素質，也使劉誌隻能倚重宦官了。
再次，宦官給他帶來了更多的享受。梁皇後在世時非常專橫，再加上有梁太後和大將軍梁翼的勢力，桓帝當然不敢輕舉妄動，甚至連宮中嬪妃都很難接觸。梁皇後死後，他又先後立鄧猛、竇妙為皇後，這兩個人雖然也嫉妒成性，但無奈沒有了梁皇後那樣的後台，桓帝也就不以為意。所以鄧皇後與郭貴人爭風吃醋，桓帝幹脆廢掉了鄧皇後，讓她在暴室中憂憤而死；繼立的竇皇後不滿於他總是臨幸其他嬪妃，桓帝幹脆再也不到她那裏去了。桓帝把更多的時間和精力花費在那些貴人、嬪妃以及新選的采女身上，而“乖巧”的宦官們恰恰能投其所好，便從全國各地挑選來大量的采女供他享樂。曆史記載，桓帝時，他的宮女竟有五六千人之多！
這一時期的朝政雖然極其昏暗，宦官凶殘無道，但仍然有人不畏強權，勇敢地同惡勢力鬥爭。漢桓帝也逐漸對宦官勢力的膨脹開始擔憂起來，害怕他們過分強大威脅到皇權。所以他又開始慢慢地對剩下的“四侯”進行限製。漢桓帝首先是啟用別的宦官來分奪他們的權力；繼而以他們殘害人民為憑據，對他們進行打擊。