故事發生在1935年的上海。在馬路上謀生的又一天生活結束了，樂隊的吹鼓手小陳、報販老王、理發師、失業者、小販這幾個“有難同當、有福同享”的把兄弟組成的“雄赳赳”的隊列，來到太平裏低矮的小閣樓。小陳和老王的住處正好與鄰居小雲、小紅姐妹的住處對窗而臨。這姐妹倆因家鄉失陷，從北方流落到上海，被一個琴師和他的鴇母妻子所霸占，從此過著不堪忍受的苦難生活：小雲為鴇母賣笑賺錢，小紅則終日隨琴師出入茶樓酒館賣唱。
天真無邪的小紅與機靈詼諧的小陳兩情相悅，經常臨窗以歌聲和琴聲傳遞情意。而內心經受著重創的小雲也在暗中戀著小陳，但小陳卻因小雲幹的營生而瞧不起她。隻有老實善良的老王很關心小雲。
一天，小紅隨琴師去酒樓賣唱，被流氓頭子古成龍看中，他便買通了琴師要把小紅占為己有。琴師和鴇母見錢眼開，決定把小紅賣給古成龍。小紅深知自己將遭厄運，隻好同姐姐一起和小陳、老王商量。老王在牆壁上舊報紙上看到了一則“養女告鴇母”的消息，便心生一計，和小陳一起去找律師，可是當律師告訴他們打官司需要500兩銀子時，他們才意識到“打官司還要錢”。老王左思有想，從舊報紙上撕下一個“逃”字遞給小陳。小陳恍然大悟，於是在兄弟們的幫助下，他偷偷地把小紅接出來，搬到了別的地方，並且結為夫妻。
小紅被救出了魔窟，可老王還惦記著小雲。他勸小雲也逃出來，小雲卻沒有勇氣。一天夜裏，小雲在街頭被警察追趕，情急之中逃到了小紅的住處。從此以後，小雲也在這裏住了下來，並將自己對小陳的愛意轉移到了老王身上。幾個人在苦難的生活中尋求樂趣，在黑暗的現實中互相扶持。
報紙上登載著巨額白銀出口的消息，各行各業都不景氣。理發師為理發店將要歇業而發愁，為了不使理發店關門，小陳和老王又吹號又敲鼓，頗有聲勢地幫忙招攬生意。
琴師夫婦和流氓古成龍一直因為小紅和小雲的失蹤而耿耿於懷，他們終日四處搜尋。琴師這天剛好從理發店經過，看到了小陳和老王後，暗中跟蹤，找到了他們的住處。第二天，琴師就糾集了古成龍等惡棍前來抓人。正巧這時老王和小陳都出去了，小雲從窗口發現他們後，便掩護小紅越牆逃走，自己卻在與琴師的搏鬥中被一刀紮中。古成龍一看要出人命，抽身溜走。琴師見狀心虛，也逃之夭夭。
等到老王他們聞訊趕來的時候，小雲已經奄奄一息了。老王焦急地吩咐小陳等人照看一下小雲，自己跑出去找醫生。可當老王因錢不夠醫生不肯來而無奈地回到家裏時，小雲已經含恨離開了人世……