這次國務院的組成機構與原中央人民政府政務院機構相比，有如下變化：撤銷了政治法律、財政經濟、文化教育、人民監察4個委員會，設立國務院政治法律、文化教育、財政貿易、重工業、輕工業、交通、農林、對私營企業改造等8個辦公室，協助總理分別掌握國務院所屬各工作部門；撤銷了人事部、法製委員會、掃盲委員會，增設了國防部、國家建設委員會、地方工業部；國家計劃委員會由原來隸屬中央政府委員會改為國務院組成部門；中國科學院不再作為政府工作部門，成為國家最高學術機關，受國務院指導；增設19個直屬機構。
一九五四年以後，為適應社會主義改造和有計劃地大規模經濟建設的需要，國務院的機構又相繼作了調整。
為了實行按行業歸口管理，撤銷了綜合管理地方工業的地方工業部，將其工作分別交有關專業的工業部管理。將管理業務過多的重工業部分為冶金工業部、建築材料工業部、化學工業部、第三工業部（原子能工業）、電機製造工業部，將燃料工業部分為煤炭工業部、石油工業部、電力工業部，從農業部中分出農墾部、水產部，從林業部中分出森林工業部。另外新設立了城市建設部、城市服務部，還增設了兩個具有綜合性職能的國家經濟委員會和國家技術委員會。增設了物資供應總局、國家測繪總局、國務院專家局和出國工人管理局等4個直屬機構。
經過上述調整，到一九五六年底，國務院共設部、委48個，直屬機構24個，辦公機構8個和秘書廳，共81個單位，機關工作人員5.2萬人。
（二）地方各級人民委員會。
地方各級人民委員會，即地方各級人民政府，是地方各級人民代表大會的執行機關，是地方各級國家行政機關。
地方各級人民委員會分別由省長、市長、縣長、區長、鄉長、鎮長各一人，副省長、副市長、副縣長、副區長、副鄉長、副鎮長各若幹人和委員各若幹人組成。
地方各級人民委員會依照法律規定的權限，管理本行政區域的行政工作。執行本級人民代表大會的決議和上級國家行政機關的決議和命令。依照法律規定的權限發布決議和命令。
縣級以上的人民委員會領導所屬各工作部門和下級人民委員會的工作，依照法律規定任免國家機關工作人員。
縣級以上的人民委員會有權停止下一級人民代表大會的不適當的決議的執行，有權改變或者撤銷所屬各工作部門的不適當的命令和指示和下級人民委員會的不適當的決議和命令。
地方各級人民委員會都對本級人民代表大會和上一級國家行政機關負責並報告工作。
全國地方各級人民委員會都是國務院統一領導下的國家行政機關，都服從國務院。
按照一九五四年全國人大製定的《地方各級人民代表大會和地方各級人民委員會組織法》的規定，省人民委員會設立民政、公安、司法、監察、計劃、財政、糧食、工業、商業、交通、農林、水利、勞動、文化、教育、衛生、體育運動等廳、局、處或者委員會，辦公廳，民族事務委員會，華僑事務委員會。因國務院設有若幹直屬機構及8個辦公室，省人民委員會也設了若幹此類機構，力求對口。省一級的機構，各省多少不一，平均達33個左右，後來很快增至40多個。
直轄市的機構比省的多5—7個，主要是管理城市規劃、建設、房地產及公用事業的工作部門。
省轄市因大小懸殊，機構設置很不一致。200萬人口以上的大城市和一些省會城市，所設機構比直轄市的略少，比其他省轄市的略多一些。50萬人口以上的中等城市的機構一般在25個左右，10萬人口以下小城市的機構一般在20個左右。
縣人民委員會的機構，《組織法》規定設立民政、公安、財政、糧食、稅務、工商、農林、交通、文化教育、衛生等科或局和辦公室。爾後，縣的機構變化較大，許多縣都新設了計劃統計科、人事科，分設了農業科（局）、林業科、水利科、文化科、教育科、工業科（手工業科）。到一九五六年，一般達到25個左右。
鄉、鎮人民委員會，設民政、治安、武裝、生產合作、財糧、文教、衛生、調解等工作委員會，吸收本級人民代表大會代表和其他適當的人員參加。一九五五年十月中共七屆六中全會通過《關於農業合作化的決議》以後，為了減少層次、充實農業合作社的領導，全國農村進行了並鄉撤區的工作。新建的鄉一般都保留了區一級的建製，人員隨之增加，一般達到5—10人，特大的鄉達20—30人。
人口和商業較多的鎮，經縣人民委員會批準，可以參照市轄區的建製，設立若幹科或股，並且可以設立辦公室，機構設置多於合並後的鄉的建製。
根據《組織法》的規定，省人民委員會在必要的時候，經國務院批準，可以設立若幹專員公署作為它的派出機關。縣人民委員會在必要的時候，經省人民委員會批準，可以設立若幹區公所，作為它的派出機關。市轄區、不設區的市的人民委員會在必要的時候，經上級人民委員會批準，可以設立若幹街道辦事處，作為它的派出機關。這些派出機關的機構設置，沒有法律規定。一九五四年後，一個省內專員公署的機構，一般設20個左右。
四、人民法院和人民檢察院
根據《憲法》規定，從一九五四年起，人民法院和人民檢察院不再隸屬各級人民政府。
（一）人民法院。
中華人民共和國設立最高人民法院、地方各級人民法院和專門人民法院，行使審判權。
地方各級人民法院分為：高級人民法院、中級人民法院、基層人民法院。
高級人民法院包括：省高級人民法院；自治區高級人民法院；直轄市高級人民法院。
中級人民法院包括：在省、自治區內按地區設立的中級人民法院；在直轄市內設立的中級人民法院；較大的市的中級人民法院。
基層人民法院包括：縣人民法院和市人民法院；自治縣人民法院；市轄區人民法院。
專門人民法院包括：軍事法院；鐵路運輸法院；水上運輸法院。
各級人民法院分別審判依照法律、法令規定由其管轄的案件。人民法院獨立進行審判，隻服從法律。
最高人民法院是最高審判機關，監督地方各級人民法院和專門人民法院的審判工作。最高人民法院對全國人民代表大會負責並報告工作，在全國人民代表大會閉會期間，對全國人民代表大會常務委員會負責並報告工作。
最高人民法院由院長一人，副院長若幹人，庭長若幹人，副庭長若幹人和審判員若幹人組成。最高人民法院設刑事審判庭、民事審判庭和其他需要設的審判庭。
高級人民法院由院長1人，副院長若幹人，庭長若幹人，副庭長若幹人和審判員若幹人組成。高級人民法院設刑事審判庭和民事審判庭，在必要的時候可以設其他審判庭。
中級人民法院由院長1人，副院長1人或者2人，庭長若幹人，副庭長若幹人和審判員若幹人組成。中級人民法院設刑事審判庭和民事審判庭，在必要的時候可以設其他審判庭。
基層人民法院由院長1人，副院長1人或者2人和審判員若幹人組成。基層人民法院可以設刑事審判庭和民事審判庭，庭設庭長，在必要的時候可以設副庭長。基層人民法院根據地區、人口和案件情況可以設若幹人民法庭，它是基層人民法院的組成部分。
專門人民法院的組織由全國人民代表大會常務委員會另行規定。
（二）人民檢察院。
中華人民共和國設立最高人民檢察院、地方各級人民檢察院和專門人民檢察院。
地方各級人民檢察院分為省、自治區、直轄市、自治州、縣、市、自治縣人民檢察院。省、自治區、直轄市人民檢察院按照需要設立分院。直轄市和設區的市人民檢察院按照需要設立市轄區人民檢察院。
專門人民檢察院的組織由全國人民代表大會常務委員會規定。
最高人民檢察院對國務院所屬各部門、地方各級國家機關、國家機關工作人員和公民是否遵守法律，行使檢察權。
地方各級人民檢察院和專門人民檢察院，依照法律規定的範圍行使檢察權。地方各級人民檢察院和專門檢察院在上級人民檢察院領導下，並且一律在最高人民檢察院的統一領導下，進行工作。地方各級人民檢察院獨立行使職權，不受地方國家機關的幹涉。
最高人民檢察院對全國人民代表大會負責並報告工作；在全國人民代表大會閉會期間，對全國人民代表大會常務委員會負責並報告工作。
各級人民檢察院各設檢察長1人，副檢察長若幹人和檢察員若幹人。各級人民檢察院設檢察委員會。檢察委員會在檢察長領導下，處理有關檢察工作的重大問題。各級人民檢察院的辦公機構和人員編製，由最高人民檢察院規定。
一九五四年，隨著國家機構體製的確立，推動了經濟建設和各項事業的迅速發展。但同時，國家機關的機構也隨之膨脹起來。一九五五年一月，國務院決定成立國務院編製工資委員會，賀龍副總理任主任，領導國家機關的精簡工作。經過一年多的時間，國家機關的精簡取得了成效。對一些不合理的機構進行了調整。撤銷了一些，合並了一些，減少了層次，由四級或五級製改為三級或二級製，撤銷或緊縮了派駐地方機構，減少了部和基層單位之間的中間層次。緊縮了編製，中共中央直屬機關減少了原編製43%以上；國務院所屬51個單位，共精減36270人，精減了41.1%。
這次精簡，對改善領導作風和工作方法，獲得了成效。一九五六年，省、自治區、直轄市一級國家機關，也根據國務院的指示進行了精簡工作。
到一九五六年底，民族自治地方各級人民委員會設置的機構數額，除西藏自治區外，和同級地方人民委員會機構數額基本相等。
經濟管理體製進行改革，調整機構設置
一、下放管理權限，緊縮國務院機構，加強地方管理機構
隨著國家第一個五年建設計劃的提前完成和社會主義改造的基本結束，以社會主義公有製為主體的經濟結構的形成，政府對國民經濟直接管理的範圍迅速擴大。這種高度集中統一的管理體製，不利於生產力的發展。一九五六年四月，毛澤東在《論十大關係》一文中指出：“應當在鞏固中央統一領導的前提下，擴大一點地方的權力，給地方更多的獨立性，讓地方辦更多的事情。這對我們建設強大的社會主義國家比較有利。我們的國家這樣大，人口這樣多，情況這樣複雜，有中央和地方兩個積極性，比隻有一個積極性好得多”。同年九月，周恩來在中共八大會上對改進經濟體製作了重要講話。他說：“現在，我國社會主義改造已經取得了決定性的勝利，人民民主專政已經更加鞏固。這就使我們有必要也有可能，按照統一領導、分級管理、因地製宜、因事製宜的方針，進一步劃分中央和地方的行政管理職權，改進國家的行政體製，以利於地方積極性的充分發揮。”對改革高度集中統一的經濟管理體製，從中央到地方達成了共識。一九五七年十一月，經國務院全體會議通過、全國人大常委會原則批準下發了《關於改進工業管理體製的規定》、《關於改進商業管理體製的規定》、《關於改進財政管理體製的規定》。
根據上述規定，國務院從一九五八年開始，把一部分工業、商業和財政的管理權限下放給地方管理，相繼撤銷、合並了9個部委、10個直屬機構、2個辦公室。到一九五九年底，國務院共設部、委39個，直屬機構14個，辦公室6個，1個秘書廳，工作機構共60個，比一九五六年減少了21個。沒有撤銷的部、委也下放了管理權限，精簡了人員。
一九五八年，國務院將絕大多數中央直屬企業、事業單位下放到地方後，中共直轄市委和一些大的省轄市委，根據中共中央關於加強地方黨委對交通郵電企業領導的指示精神，都增設了交通工作部。
省、自治區、直轄市人民委員會的機構也進行較大的調整。多數都增設了科學技術委員會、物價局、農機局，將工業廳分設為重工業廳和輕工業廳，將原由中央管理的電力局、地質局、煤炭局都改由省政府領導，將工業辦公室改為經濟委員會。同時也撤銷、合並了一些非經濟的工作部門，調整後，省、自治區人民委員會的機構一般為47個左右，直轄市則在50個以上，比一九五六年增加5個左右。
中央直屬企業不僅下放到省、自治區、直轄市，還有很大一部分下放給省轄市、專署和縣。省轄市人民委員會的機構增設、調整後，一般為25個左右，大的省轄市達30個左右。在這次經濟管理體製改革中，還把一大批省轄市劃歸專署領導，建立了大的中共地委和大的專員公署。這些大的中共地委和專署的機構設置，基本上和省轄市相同。縣人民委員會的機構，一九五七年曾進行過一次精簡，由一九五六年的25個左右裁並為14個左右；自治縣的機構略多一些。一九五八年後，由於經濟管理體製改革和撤銷區一級建製，縣人民委員會的機構一般又都恢複到一九五六年的25個左右。
一九五八年八月，中共中央政治局擴大會議，通過了《中共中央關於在農村建立人民公社問題的決議》，全國農村掀起了人民公社化運動。74萬多個農業生產合作社，改組成了5.7萬多個人民公社。同年十二月，中共中央、國務院決定在農村實行“兩放、三統、一包”的財政貿易新體製。“兩放”即把國家在農村的商業、糧食、財政、銀行等機構和人員下放給公社管理，這些單位的財產下放公社使用；“三統”，即政策的執行、計劃的製定和流動資金的管理服從國家的統一規定；“一包”，即包上繳財政任務。從而正式確立了基層政權機關鄉人民委員會與人民公社合一的體製。
公社黨政群機關的機構和人員基本上保持著鄉的規模。
二、上收管理權限，恢複強化上層管理機構
從一九五八到一九六○年，由於“左”的指導思想，造成了“大躍進”的失誤，加上自然災害給國民經濟造成了嚴重困難，使經濟管理體製的改革沒有能夠繼續進行下去。一九六○年冬，中共中央和國務院決定對國民經濟實行“調整、鞏固、充實、提高”的方針，必須收回一部分過去一段時間內下放的權力。一九六二年一月二十日，中共中央發出了《關於調整管理體製的若幹暫行規定》，強調提出經濟管理的大權應該集中到中央、中央局和省（市、自治區）委三級，最近兩、三年內，應該更多的集中到中央和中央局。一九五八年以來，各省、自治區、直轄市和國務院各部下放給專、縣、公社和企業的人權、財權、商權和工權，放得不適當的一律收回。國務院各部直屬企業的行政管理、生產指揮、物資調度、幹部安排的權力，統歸國務院主管各部。所有生產、基建、收購、財務、文教、勞動等各項工作必須執行全國一盤棋、上下一本賬的方針，不得層層加碼。中共八屆九中全會決定成立華北、東北、華東、中南、西南、西北6個中共中央局，代表中共中央加強對6個戰略性地區的各項工作，特別是經濟工作的領導。
為了貫徹執行中共中央的決定，國務院在加強計劃、基本建設、財政、勞動、信貸、物資集中管理的同時，上收了全部軍工企業和一批下放的民用企業。到一九六五年底，國務院各部門直屬企業、事業單位，由一九五九年的2400餘個，增加到10500餘個。由於國務院主管部門增大了工作量，國務院的機構設置又逐步分細：分設了管理國防工業的第三、四、五、六機械工業部和國務院國防工業辦公室；恢複和增設了物資管理部、建築材料工業部、第二輕工業部、高等教育部和對外經濟聯絡委員會；恢複和增設了9個直屬機構：中國民用航空總局、國家海洋局、中央旅行遊覽事業管理局、國家房產管理局、外文出版發行事業局、國務院科學技術幹部局、中國農業銀行、國家編製委員會和全國物價委員會。到一九五七年底，國務院共設部委48個，直屬機構23個，辦事機構8個和1個秘書廳，共80個單位，相當於一九五六年的規模。機關工作人員4.1萬人。