粉碎“四人幫”後不久，在反思林彪、“四人幫”橫行，造成十年內亂的深刻教訓時，政治體製改革的問題，實際就已經提出來了。
1978年10月11日，鄧小平在中國工會九大的致詞中，就已指出“這場革命既要大幅度地改變目前落後的生產力，就必然要多方麵地改變生產關係，改變上層建築”。12月13日，鄧小平在中央工作會議閉幕會上的講話中，進一步提出“正確地改革同生產力迅速發展不相適應的生產關係和上層建築”的任務，並強調：“政治的空談往往淹沒一切。這並不是哪一些同誌的責任，責任在於我們過去沒有及時提出改革。但是如果現在再不實行改革，我們的現代化事業和社會主義事業就會被葬送。”
同一天，葉劍英在中央工作會議閉幕會上的講話中，對政治體製方麵，提出了不少重要意見。他指出：
林彪、“四人幫”從反麵給了我們血的教訓，使我們懂得，一個國家非有法律和製度不可。這種法律和製度要有穩定性，連續性。它們是人民製訂的，代表社會主義和無產階級專政的最高利益，一定要具有極大的權威，隻有經過法律程序才能修改，而不能以任何領導人個人的意誌為轉移。檢察機關和法院，在自己的工作中一定要忠實於法律和製度，忠實於事實真相，一定要保持應有的獨立性，這樣才能完成自己的神聖職責。
在人民自己的法律麵前，一定要實行人人平等，不允許任何人有超於法律之上的特權。我們黨、我們的國家和人民，受林彪、“四人幫”之流的個人特權的災難太深重了，我們以後一定要動員全黨全軍全民的力量，來向任何個人特權進行毫不留情的鬥爭！
鄧小平、葉劍英關於政治體製改革的思想，在十一屆三中全會上得到了普遍認同。全會《公報》明確指出：
實現四個現代化，要求大幅度地提高生產力，也就必然要求多方麵地改變同生產力發展不適應的生產關係和上層建築，改變一切不適應的管理方式、活動方式和思想方式，因而是一場廣泛、深刻的革命。
十一屆三中全會提出的一係列原則和要求，拉開了中國政治體製改革的序幕。
1979年10月13日，鄧小平在第四次文代會上的祝詞中明確提出要改革和完善政治製度，發展高度的社會主義民主和完備的社會主義法製，揭示了政治體製改革的主題。
11月2日，鄧小平在中共中央黨政軍機關副部長以上幹部會上號召高級領導幹部要為改革黨的領導體製作出表率，明確提出廢除領導幹部職務終身製，實行幹部退休製度，設立顧問製度作為過渡形式，盡快改變機構臃腫人浮於事的狀況。
1980年2月，中共十一屆五中全會通過了《關於黨內政治生活的若幹準則》和《中國共產黨章程》修改草案。4月，中央政治局會議討論通過了《關於喪失工作能力的老同誌不當十二大代表和中央委員會候選人的決定》。5月，提出黨內生活、社會生活都要肅清封建主義影響的任務。所有這些，都為黨的領導體製的改革，奠定了重要基礎。