組織結構是指組織內各部分及各部分之間聯係和關係的總和，它包容的內容極寬，如各類目標之間的關係、各類心理現象的關係、人員數量、知識構成的關係等，均有結構性意義。行政組織的結構僅從責任、權利、利益方麵規定組織內所有機構和所有工作人員的工作關係，這種結構是人們有意識設置、明確規定了的，因而是組織中的正式結構。
一、行政組織的縱向結構———層級製
層級製結構是行政組織內部縱向結構形式，它是上下級政府之間以及上下級政府所屬部門之間所形成的關係形式。在這種結構中，職位、職權、職責在合法基礎上，從組織最高層向最低層垂直分配，形成不同的等級係列。每個層級擁有所管轄範圍的決策、指揮全權。不同層級所管轄的業務性質大體相同，隻是管轄的範圍隨層級的降低而縮小。也就是說，層級越高，管轄範圍越大，職責與權力越大，組織數量越少；層級越低，管轄範圍越窄，組織數量愈多。不同層級間垂直的領導與被領導、服從與被服從的上下級關係是這一結構形式最突出的特點，由此縱向呈現出金字塔形的垂直領導關係。層級製是產生最早、也最為常見的組織結構形式，傳統工廠中的廠———車間———班組，政府行政組織中的國務院———省———縣———鄉均為層級製結構。
層級製是由管理公共事務的性質決定的，若無一種等級從屬關係相互牽製，就會破壞行政活動的統一性和一致性，而各層級之間上統下屬的隸屬關係使其相互製約，具有指揮靈便、行動統一的優點，所以統一指揮是層級結構的基本精神。（當然，縱向有效運作的關鍵不在結構形式而在人）實踐中，層級式結構僅適用於從事簡單作業活動的組織，當社會分工精細複雜，行政管理承擔的任務加重時，層級式結構就遠遠不能滿足需要，還要有其他結構形式作為補充。
二、行政組織的橫向結構———職能製
行政組織橫行結構的職能製是以行政組織內部各功能單元之間以協同與製約關係為主要內容的結構形式，即在層級製的統一係統外，按專業化原則設置的職能係統，它是組織橫向專業化分工的結果。由於行政組織管理公共事務內容的複雜多樣性，靠任何一個層級的行政組織都不可能勝任，因此就需要在劃分層級的基礎上，按業務性質的不同，設立平行的不同部門，以便分門別類地管理好各種事項，可見專業分工是職能製的要義。橫向職能部門直接對上級行政首長負責。一方麵，對行政首長提出工作建議，履行參謀職能，另一方麵，對下級職能部門進行管理。職能製結構的產生較早也較為常見，政府及企事業單位、社會團體內部各個職能部、委、辦、局、處、科、股，均屬職能結構的典型形式。在實際操作中，橫行職能部門的劃分宜粗不宜細，能一個部門做的事，盡量不要涉及多個部門。要盡可能地在總目標的統帥下，按照職能、業務、地域相近的原則進行歸類，以兩個圓的關係喻之，就是隻能相切，不能相交。職能製結構的優點在於有助於發揮組織的技術專長。其一，在職能化結構中，專業分工、業務相似，往往伴隨著作業者專業技能的迅速提高，易於提高效率。其二，組織與環境之間輸入輸出人流、物流、信息流較為有序，使組織運行獲得許多緩解外部和內部衝擊力的支撐點（職能部門）。其三，使行政首長擺脫日常具體業務，集中精力籌劃全局的決策領導。
但是職能製在運行中也有缺陷，第一，如果分職不當，分工過細，容易造成機構臃腫、部門林立、管理失控。第二，增加了協調的難度。各職能部門在獲得專業化授權後既成為組織內部的分係統，客觀上又都是相對獨立的利益單元，當狹隘的部門利益超越組織的總目標時，彼此間的協調就成了問題，從而損害了組織的效率。正如阿爾蒙德所言，“專業化的好處使得分化程度迅速提高。但是隨著越來越多的分化，協調各單位的困難和代價也就越來越大，並且使進一步分化要受限製。最後，協調所花費的代價形成了一個極限。”第三，職能部門之間通常是平行協商關係，當職能部門間缺乏主動協調時，上級不得不陷於沒完沒了的協調中，易於降低決策質量。第四，由職能部門形成組織多支撐點的穩定結構的優點，也可能變為阻礙一個組織創新、發展的保守因素。