2005年春夏，中共中央和胡錦濤總書記高瞻遠矚，決定邀請中國國民黨主席連戰和親民黨主席宋楚瑜來大陸訪問，就兩黨結束過去，麵向未來，為中華民族的偉大複興共同努力交換意見。胡總書記的邀請是通過陳雲林接受新華社記者采訪的方式發出的，4月1日，連戰主席對此正式表示感謝和欣然接受。4月26日，陳雲林受中央委托，趕赴南京祿口機場迎接連戰一行。那一天豔陽高照，萬裏無雲，連先生出現在飛機艙口的那一刻，全世界的目光在這裏聚焦，海峽兩岸同胞，海內外華僑、華人以無比興奮的心情，目睹了連戰先生代表的中國國民黨跨出的穿越六十年曆史風雲的重要一步。5月5日，他又赴西安機場迎接親民黨主席宋楚瑜先生一行。是非經過不知難，為了這一刻，他和他的同事們曾經曆過無數緊張、充滿波折的日日夜夜，終於以善意和誠意，換得了雙方的行動。為了這一刻，連戰先生、宋楚瑜先生克服種種幹擾，展現了對中華民族負責的堅定信念和超人勇氣。
4月29日下午和5月12日下午，胡總書記在北京人民大會堂福建廳先後與連戰、宋楚瑜舉行正式會談，發表新聞公報和會談公報，雙方確立了反“台獨”、堅持“九二共識”兩大共同政治基礎，並從政治、經濟、文化、軍事、對外關係等方麵向兩岸同胞揭示了和平發展、互利雙贏的前景。他們求同存異，為遏製“台獨”、維護兩岸同胞利益、推動兩岸關係向著和平穩定的方向發展所舉行的“曆史性握手”，奏響了兩岸關係以和平發展為主題的新時代序曲。
在此期間，在中央有關部門授權下，陳雲林宣布了給予台灣農產品零關稅待遇、贈送台灣同胞一對大熊貓、對在高校就讀的台灣學生按照大陸學生標準同等收費等惠台政策。在台辦主任任上，陳雲林推動出台了63項有利於擴大兩岸交流、增進兩岸同胞利益的政策措施。這些措施，都是在廣泛聽取台灣各界人士的建設性意見後適時推出的，用行動向台灣民眾展現了祖國大陸改善和發展兩岸關係的誠意。
在接待連宋來訪的過程中，有許多感人的細節。在有關方麵的大力支持下，台辦找到了連橫恢複中國國籍的戶籍簿和宋楚瑜家族的族譜，協助連宋二人尋找、修繕先人故跡、家族墓地，使他們深受感動。
大陸同胞自發的熱情歡迎場麵貫穿了連宋來訪的每場公開活動。連戰拜謁中山陵時，現場早已聚集了大批自發前來的南京市民。連戰抵達後，現場掌聲雷動，中山陵392級台階兩旁都站滿了人，場麵壯觀。本來10分鍾就可以走完的路，足足用了半個多小時。在參觀夫子廟、夜遊秦淮河時，連戰沿途受到南京民眾的夾道歡迎。一些台灣記者不相信群眾都是自發來的，鑽入人群到處詢問，最後他們感慨地說：“這樣的同胞情誼和感人場麵，我們在台灣已經很多年沒有見到過了。”宋楚瑜是個愛動感情的人，一路上在熱烈的氛圍下控製著自己的情緒，當他回到湘潭老家祭祖時看到田頭、房頂上那麼多陌生而又親切的麵孔時，卻再也忍不住眼中的淚水。
連戰和宋楚瑜的出身、經曆、性格明顯不同，但他們都是台灣島內在兩岸關係上深具前瞻眼光、充滿政治勇氣的政黨領袖，都有深厚的民族情懷和對兩岸關係和平發展曆史潮流的深刻把握。他們來訪後，國共兩黨構建了交流平台，迄今為止，兩黨領導人已舉行了三次會晤，舉辦了五屆兩岸經貿文化論壇，兩黨基層組織全方位開展了對口交流。這些成果，有效地遏製了“台獨”活動，引導了台灣的民意走向，為日後兩岸關係的轉折奠定了堅實的基礎。