四行仓库,是金城银行、大陆银行、盐业银行、中南银行共同投资建造的仓库。仓库内储存了几万包粮食、牛皮和丝茧等物资。谢晋元率部进入仓库后,利用库仓里的物资和沙包,将底层门窗全部堵死,二层以上窗口堵塞一半,以利投弹射击。仓库东南角有一个烟杂店,谢晋元命令士兵打了一个高宽约一米的墙洞与之相通,店外堆满沙袋。楼上留一窗口,以机枪警戒,与对面新垃圾桥北堍的英军碉堡可以通话。又在仓库外布置了一支部队,沿苏州河仓库两侧布置了沙袋工事,狙击敌人。谢晋元的部署可谓天衣无缝,使日军进攻时感到非常棘手。
第二天天刚亮,天空一阵嗡嗡响,几架日本飞机像老鹰一样在低空盘旋。谢晋元料定飞机不敢投弹轰炸,公共租界就在咫寸之遥,炸弹很容易误落到租界,引起国际争端。
下午2时,日军开始涌向苏州河。谢晋元下令开火。前沿部队也突然从沙袋工事后投弹、射击,与仓库楼上形成火力交叉,杀伤了大批敌人,并炸毁了两辆战车。激战两小时后,前沿部队从烟杂店退入仓库。日军尾随着企图冲进仓库,烟杂店外的沙袋工事后扔出大批手榴弹,炸得日军血肉横飞。以后,日军小批部队轮番进攻,在守军的扫射下,丢下一具具尸体,退回苏州河。
第一天战斗,共击毙日军80 余名,被打伤的敌人就更多了。四行仓库对面租界里的英国驻军,目睹谢晋元孤军与日军作战,他唯恐危及租界安全,多次派人跟谢晋元联系,劝说中国军人卸下武器,退入租界。英国驻军愿意出面与日军周旋确保谢晋元部队的生命安全。谢晋元毅然拒绝,说:“我们是中国军人,没有上级的命令,我们死也不退!”
谢晋元率孤军死守四行仓库,抗击日军的消息,传遍了上海。自第一天开战以来,从早到晚,有数万群众,聚集在苏州河南岸租界,隔河观看,群情激昂,人人振奋。市民们纷纷隔河向坚守在四行仓库里的中国士兵挥手致意,甚至连租界里的外国人,也直翘大姆指。上海各界人民自动组织起来,慰劳自己的军队。各种食品、药物堆积如山,只是苦于交通阻隔,很难送进仓库。唯一的一条通道,是那个烟杂店的墙洞。但接近烟杂店很危险,子弹乱飞,随时都有牺牲的可能。这工作就由参加战地服务队的童子军承担,孩子目标小,动作灵活,不易被日军觉察。
谢晋元与800壮士坚守仓库4 天4夜,孤军与数十倍于己的日军作战的英雄事迹,迅速在国内引起强烈的反响。当时,有作词作曲家将此事写成歌曲,歌词是这样的:“中国不会亡,中国不会亡,你看那民族英雄谢团长。四面都是炮火,四画都是豺狼。宁愿死,不退让,宁愿死,不投降!