來到上海後，繆伯英受黨組織委派，擔任滬東區委的婦女委員會主任。而何孟雄則先後擔任中共江蘇省委委員、省農委和軍委負責人、滬東和滬中區委書記等職。為了方便開展地下工作，繆伯英曾化名廖慕群，她還在上海找到了一份工作——華夏中學的物理教員，用來掩飾自己的真實身份。1928年3月20日，繆伯英生下了小女兒何小英。
繆伯英不僅膽子大，且做事謹慎認真，十分適合從事地下工作。她經常囑咐繆位榮，如果自己與何孟雄兩個晚上不回來，就要趕快搬家，以減少不必要的犧牲。當時上海的形勢非常複雜，有個風吹草動，他們就要搬家。為了不引起別人的注意，繆伯英就假裝與丈夫吵架，之後憤然離家出走。兩個人居無定所，飲食也沒有規律，經常是到深夜才回來，天不亮就又出門了。
繆位榮曾經回憶道：“開始我很不習慣那種緊張而又危險的生活，有時晚上會被驚醒，之後很長時間都無法入睡。但他們的坦然讓我放心了很多，伯英還經常教育我說，這是為人民的解放而鬥爭。我開始覺得自己的工作十分有意義，逐漸也能從容地處理突發情況了。”
繆伯英自從入黨以後，每天都為革命事業東奔西走，繁忙瑣碎的工作和長期清貧的生活最終拖垮了她的身體。1929年10月，繆伯英因突發傷寒病，被送入上海仁濟醫院。最終因搶救無效，與世長辭。臨終前，她對丈夫何孟雄說：“既以身許黨，應為黨的事業犧牲，奈何因病行將逝世，未能戰死沙場，真是憾事！孟雄，你要堅持鬥爭，直到勝利。”
不久，何孟雄遭到逮捕，在上海龍華英勇就義。他們的兩個孩子也在“一?二八”事變中失散，從此下落不明。
作為中國共產黨第一位女黨員，繆伯英為革命貢獻出了自己的青春和生命，李大釗曾稱讚她是“宣傳赤化的紅黨”，她和何孟雄被人譽為“英雄夫妻”。中華人民共和國成立後，繆伯英被追認為革命烈士，她的革命精神和英雄事跡將被後人廣為傳頌。