不過，在隨後的黨主席選舉中，聲勢如日中天的林義雄卻在黨內各個派係及諸多政治人物的慰留聲中，以“任期已滿，階段性任務已完成”為由，宣布不再競選連任。此前，林義雄還拒絕了陳水扁給予的“總統府資政”的職位。這種對政治及權力類似潔癖的性格及作風與綠營大部分政治人物彈冠相慶之態形成了鮮明的對比。此後，林義雄愈發看不慣黨內的利益分配以及政治分贓的嘴臉，與黨內政治人物的矛盾日益凸顯出來。
2006年年初，林義雄發表公開信“永為民主國家主人——為退出民主進步黨告同誌書”，宣布退出民進黨。林義雄選擇的退黨時間點正是民進黨貪腐弊案開始集中爆發的當口，這意味著他對民進黨內的貪腐文化以及族群撕裂牟取政治利益的做法已經不願再忍受。林義雄的退黨使其道德高度進一步上升，成為民進黨和泛綠陣營的“人格聖者”。此後林義雄完全淡出了權力舞台，繼續做貫徹其“反核”理念的苦行者。
從“反核”領袖到公民社團“共主”？
林義雄的“反核”立場在他自美國返台後就逐步表露出來。1991年年初林義雄創立“核四（台灣第四核電廠）公投促進會”，宣稱其宗旨為：經由促進“用公民投票決定應否興建核四，來喚醒台灣人民的主人意識、培養台灣人民行使主人權利的能力。”
民進黨上台後，不顧黨內外反對，2001年“核四”複工。這引發了林義雄的不滿，他於2月底召開記者招待會，宣布辭去民進黨首席顧問的職位。至2003年年底，林義雄共發動三波徒步行走全台灣的“核四公投千裏苦行”行動，同時還通過靜坐、絕食以及發傳單等方式向社會表達“核四公投”的訴求。
2014年4月15日，在台灣的“反服貿”學運落下帷幕之際，林義雄宣布以無限期絕食的方式，要求馬英九當局停建“核四”，“反核”團體也大力聲援，一時聲勢很大，在台灣政壇引發了劇烈震蕩，終於使馬當局停止了“核四”工程。在民進黨執政期間，林義雄雖然也堅持“反核”理念，卻沒有用絕食這種激烈的方式達成訴求，這次在馬英九執政期間的絕食行為在坊間看來還是帶有黨派鬥爭的色彩。不過林義雄似乎不願被民進黨過度消費，在馬當局有所妥協之後恢複了進食。
台灣社會現在更關心的是林義雄會不會借此次行動凝聚社會力量，形成異於國民黨和民進黨的“第三勢力”。林義雄4月30日發表的聲明中提出包括要求“立法院”補正“公民投票法”、阻止“立法院”通過“自由經濟示範區特別條例”、召開“公民憲政會議”、推動“修憲”等訴求。這些都是“公民團體”近期的訴求，有評論認為林義雄有成為公民團體領袖的可能。不過，從台灣的現實政治情勢來看，形成第三勢力難度其實非常大。
（摘自《世界知識》）