羅榮桓也說：“是啊，搶糧事件的發生，恐怕主要是人民生活沒有安排好。安排好了，壞分子煽動鬧事就煽動不起來，所以，這幾個月，安排好人民生活是件大事。”
看來部隊、部隊與當地居民都有些問題需要細心了解，幫助解決。春節剛過，兩位元帥就去了莆田、泉州、廈門，後來又去了江西、湖南兩省。
不知不覺，一個半月過去了，這對兩位元帥的同行在外是難得的。這一路，他們都感到在這緊勒褲帶的困難歲月，保持部隊的穩定是最重要的。幹部戰士吃不飽的現實問題擺在麵前，不能回避，也不能靠幾句空洞的打氣話能解決的，對戰士“劃類”、扣帽子的做法是有害的。毛主席著作要學習，要做深入細致的思想工作，不能老搞轟轟烈烈的花架子。因此這年10月，賀龍在看了福州軍區政治委員劉培善的調查報告後，寫信給他說：“我們的軍隊不同於任何其他軍隊，它不能靠強迫命令，而是靠政治工作。”在這封信裏，他沒有像當時流行的一些文件那樣，強調階級鬥爭，強調“活學活用”，而是隻講紮紮實實做好基層支部的工作。
1962年3月，中共中央軍委廣州會議之後，主持軍委日常工作的副主席林彪便一直稱病，不參加軍委常委會議。討論研究軍隊的一些重大問題時，他常常不出席。林彪在大權在握時稱病不出，究竟是身體原因還是另有打算不得而知。從賀、聶兩位元帥的角度看也難辦。他們要擔負軍委最沉重的工作，可名義上他們仍是軍委副主席，中央並沒有賦予他們主持軍委日常工作的任務。於是，凡事經過軍委常委討論，做出決定後，還得向林彪報告。他們知道林彪這個人難處，又十分敏感，稍有不慎，便會產生某種芥蒂。
可1962年又偏偏是個多事的年代。國內的經濟困難尚未過去，黨內“左”的指導思想不僅沒有扭轉，在八屆十中全會上提出了階級鬥爭要“年年講、月月講、天天講”的基本路線後，又有了新的發展，“左”成了一麵指揮一切的大旗。而此時國際上反華浪潮風雲激蕩；東南沿海地區局勢緊張；中印邊界發生武裝衝突……這一切都需要軍委定篤，事情又多又急。可是聶、賀兩個副主席每走一步，除了要請示中央軍委主席毛澤東外，同時也要向在外地“療養”的林彪報告。而林彪永遠是那副你急我不急的樣子，常常是既不表示讚同也不表示反對，將他自己的想法隱藏得很深，於是他們又回頭請示毛澤東，一切由毛澤東決定。
1963年5月初，葉群根據林彪的意見，突然從外地給軍委辦公廳打電話，說：“林彪同誌身體還是不好，現在主要是養病，不能過多地考慮工作，請軍委辦公會議和總部的同誌不要等他的指示。具體工作由第一線的同誌和辦公會議處理，大一點的問題請軍委常委處理，重大問題，直接請主席、中央決定。”
林彪是自己從中央軍委的主要領導位置退下來的。
1963年9月，毛澤東在中南海召開政治局常委擴大會議，研究有關新疆的幾個問題，據參加會議的中共新疆維吾爾自治區黨委書記王恩茂說：會議到最後，毛主席提出，林彪的身體不好，實際上主持不了軍委日常工作，建議由賀龍同誌主持軍委日常工作。中央政治局的同誌都同意。
這樣，主持中央軍委日常工作的責任落到了賀龍身上。
林彪著實又不痛快起來。按他的意思是最好位子他占著，工作別人做著；他想幹時幹一下，不想幹時就不幹。尤其是賀龍，他一直就不喜歡他。這樣一來，自己不但被排斥在軍委領導之外，而且自己的位置可能要一直被賀龍頂替下去，他開始更加密切地觀察毛澤東的思想傾向，並以此衡量賀龍主持的軍委做事的尺寸，從中挑刺。
以後便發生了否定“大比武”的事，首先將“倒”向賀龍一邊的羅瑞卿置於死地，遇上“文化大革命”的火候，他又開始收拾賀龍了。
1965年11月間，69歲的賀龍在出席完新疆維吾爾自治區成立十周年的紀念活動後，剛回到北京，就聽說軍委直屬機關正在對軍委辦公廳主任肖向榮中將開始批判。他不知道肖向榮犯了什麼錯誤，但這是林彪的指示，想必是有原因的吧，他不便過問。那時節，經常有人會遭到批判。
賀龍不想過問，但卻躲不開。11月底，批判肖向榮的會議快結束的時候，不知為什麼，會議的主持者、總參謀部的一位負責人特地跑到賀龍住所。
他對賀龍說：“賀總，現在軍委直屬機關正在批判肖向榮。他的性質是敵我矛盾。肖的後台是羅瑞卿。”
賀龍感到詫異，便問道：“你們的根據是什麼？”
這位負責人說：“有一次，一個外國的國防部長來訪，羅瑞卿聽說他不愛看打仗的片子，就說：‘不看戰爭片，怕見流血，他還是個國防部長呢！’羅說這話，是暗指林總的，說林總不能當國防部長。”
賀龍覺得有些牽強附會，便問：“還有別的根據嗎？”
“沒有了。”
賀龍按照自己的思路，對那位負責人說：“如果你們沒有別的根據，就不要胡亂猜疑了。羅瑞卿是扛大旗的，是擁護毛主席、擁護林總的，說他反對林總，這是不可能的事。你們不要再往那方麵去想了。”