1787年3月1日，在獨立戰爭接近尾聲時，美國各州批準了邦聯條款，成立了邦聯政府，取代了大陸會議行使權力。邦聯政府的權力有限，各州仍保留著自己的“主權、自由和獨立”。因此，在解決戰後初期國內各種經濟困難和政治動蕩時，邦聯政府顯得力不從心。於是，建立一個更強有力、更加集權的政府的要求提出來了。這就需要一個新的憲法。
1787年3月28日，富蘭克林當選製憲會議的代表。5月14日，製憲會議在費城召開，在三四個月的會期中，富蘭克林每天11點到會。會上的一名喬治亞州的代表後來寫下了對會議期間的富蘭克林的印象，“富蘭克林博士是十分著名的當今最偉大的哲學家。……但是，……他不是演說家，看來也不專心致誌於政治。然而，他卻是個不同凡響的人。他講故事講得那麼動聽，是我從來沒有聽過的。他82歲了，腦力卻十分活躍，足以和一個25歲的年輕人相媲美”。
富蘭克林在製憲會議中的作用主要是和解，不是引導代表們走向哪一特定的方向，而是設法使代表們保持一致。他自己最喜愛的政治理想——院製議會、複式行政機構、公務員無薪製——沒有一項被會議采納。
每當他發言，他總預先把發言內容寫在紙上，請人替他念，因為他不能長時間地站著。他在製憲會議上的這些發言稿都得到保存。
6月2日，他動議行政官員無薪，得到亞曆山大·漢密爾頓的附議，但沒有被采納。麥迪遜回憶道：“它受到十分尊重的對待，但與其說是由於相信它的有用性和可行性，還不如說是由於動議的提出者。”
6月9日，一些較小的州提出應享有和較大的州同樣的投票權，引起了激烈的爭論。11日（星期一），富蘭克林提出書麵的協調意見：
“我有幸看到，直到這一提案——代表比例問題——引起爭論以前，會議一直是在冷靜和克製中進行著。在這種場合，如果出現了任何反麵意見，我希望它不會再次出現；因為我們被派到這裏來是為了相互協商而不是爭執，是宣布一種既定的看法，做出決不更改的決議，而不是來受啟發或被說服。”
事情暫時平息了。
在大州和小州的爭執中，富蘭克林和華盛頓都沒有參與。他們更多的是從資產階級國家的整體利益來考慮問題。但在一般代表心目中，本州的利益仍然占居重要地位。較小的州相信如果不具有平等的代表權，他們的利益就隻能任較大的州擺布。在各州中，馬薩諸塞州、賓夕法尼亞州和弗吉尼亞州（加上其28萬黑人）共有人口萬，其他10個小州才共有164.1萬人。較大的州則認為，如果隻有3.7萬人的特拉華州和擁有42萬人的弗吉尼亞州享有同樣的代表席位，那是絕對不公平的。
在製憲會議的開頭兩個星期中，較大的州在一些小州的支持下，得以通過在國家議會的兩院中均以人口決定代表席位的提案。小州代表則馬上表示不滿，堅持他們在邦聯製下所享有的同等權力。雙方爭執不下，會議氣氛緊張。
6月28日，自由主義思想家富蘭克林動議在開會前先向上帝祈禱。代表們驚愕之餘，沒有采納，但這一提議本身和富蘭克林的虔誠祈求上帝幫助的發言，卻緩和了會場的氣氛。那一天，一些小州的代表揚言，如果沒有平等代表席位，就散會。但在他發言後，人們的頭腦冷靜下來，會議開始了。
兩天後，富蘭克林提議妥協，他呼籲持不同意見的雙方，各自做些讓步以達到立場的拉近。