“二艦”要起義，必須在秘密狀態下進行，一旦走漏風聲，結果會適得其反。以前林遵都是在自己的親信、助手間商議，可是在解放軍渡江的前夜4月20日，他集中各艦艦長一起討論時，讚成的、反對的都有，引起激烈爭論。此時，艦隊停泊在八卦洲與長江南岸之間，南京市東北的笆鬥山下。4月23日上午8時，渡江大軍已飛馳南岸，隆隆炮聲響徹長江下遊，林遵和各艦長在臨時作為司令部的“永康”艦上再次討論起義問題。林遵首先講話：“桂總座親口許可，如果能將艦隊帶到上海，他即提升我為海軍中將兼副總司令，並頒給我最高獎賞‘青天白日旗’，但是目前形勢極為嚴峻，桂總座稱為堅如磐石的江陰要塞已經易手，共軍沿江有重炮控製江麵，下段上海恐怕都有覆沒的危險。”接著他曆數國民黨要人倉皇逃跑，丟下部隊不管的事實。他說：國民政府和國防部已經遷走，桂永清早已帶著姨太太乘飛機逃到上海，海軍總部也遷走了。他一再暗示大家，國民黨大勢已去，無可挽回，隻有起義才是光明的出路。在林講話後，“恵安”艦長吳建安也慷慨激昂陳詞：“國共雙方打了20多年，蔣介石還是比不上共產黨，再繼續打下去於國於已都不利。我們把軍艦交給人民，和平統一祖國。不然，今天有上海、舟山列島可退，明天恐怕剩下台灣了，到時進退無路，悔之晚矣！‘永安’艦在集結笆鬥山時曾受到重創，船員死傷很多，而傷者很重，且沒有藥敷，官兵痛得大哭，這怎不叫人寒心。”劉越說聲音越大，竟至號啕大哭，聲淚俱下。唱反調的也有人。“興安”艦長劉宜敏振振有詞：“黨國培養我們多年，值此國難當頭之日，本應不畏艱險，為國效力，目前尺寸之功未立，就棄義投敵，必將成為曆史罪人，後人也會恥笑我們……再說憑我們的力量也不是不可以衝出去。”會場上出現短暫沉默之後，“江犀”艦長孫家寶站起來駁斥說：“黨國要人的行為太讓人寒心了，有今天的下場也是自作自受……我們的軍艦雖然破舊不堪，但畢竟是民脂民膏，我們應該將它交還人民。”整個會場從開始一直爭論不休，甚至爭得麵紅耳赤，林遵坐在那裏靜聽大家議論，當看到一下子統一意見有困難，便決定采取不記名投票方式決定去留，大家對此舉沒有異議。投票期間，林遵找反對起義的艦長進行個別談話，爭取他們向前看，不要再受蔣介石、桂永清蒙騙了。最後，林遵拿著投票結果，向大家說：“經過大家充分發表意見，參加投票共18人，讚成起義的10票，反對的2票，棄權的6票，說明大多數願意留下；剛才我又個別征詢一些人的意見，棄權中有的願意隨大多數人行動。”停一下，他又嚴肅地說：“起義與否，關係到各位和全艦隊官兵前途，一定要自願；假如哪一位想走，決不強留。”散會前，林遵即派人與三野駐浦口部隊取得聯係，又令各艦不要中斷與海軍總部的聯係，以免桂永清派飛機轟炸。4月23日晚上10點，林遵所派副官王熙華、參謀戴熙愉到浦口與解放軍聯係。三野十兵團三十五軍也派了敵軍工作部部長張普生於子夜時分接上了頭，張普生握著王、戴二人的手高興地說：“我們接到陳毅司令員的指示，知道你們已經起義，現在來了，歡迎你們。”在林遵的引導下，張又會見了幾位艦長。