１９３７年全国抗日战争爆发后，罗忠毅任新四军第２支队参谋长。他以非凡的组织指挥才能，率部在苏南地区积极开展抗日游击战争，主动打击敌人，发展壮大自己，参与开辟以茅山为中心的苏南抗日根据地。１９３９年１月，罗忠毅协助粟裕指挥部队奇袭皖南芜湖的官陡门，取得了以３０分钟全歼守敌３００余名的战果，成为新四军的一个模范战例。同年１１月，新四军江南指挥部成立，陈毅、粟裕分任正副指挥，罗忠毅任参谋长。１９４０年７月，陈、粟率江南主力北渡长江后，罗忠毅任重建的江南指挥部指挥，留在苏南坚持敌后抗日游击战争，指挥部队多次挫败日伪军“扫荡”“清乡”和国民党顽固派军队的进攻。

    １９４１年皖南事变发生后，罗忠毅率部接应新四军突围北撤人员，为保存抗日革命力量作出重大贡献。４月，苏南新四军部队改编为新四军第６师，罗忠毅任第６师参谋长兼第１６旅旅长。此时，国民党顽军对苏南新四军实施“进剿”。１９４１年５月下旬，新四军第１６旅在溧阳县黄金山三战三捷，毙伤俘顽军９００余人，取得重大胜利，为新四军挺进苏南以来“空前第一次之运动战”。６月，第１６旅回师茅山，为配合东路苏常太地区的反“清乡”斗争，积极发动攻势，在７、８月间连续拔除２０多个日伪据点，收复了皖南事变后被日伪军侵占的全部地区。

    １９４１年１１月２８日凌晨，日军集中３０００余人的兵力，突然袭击新四军第１６旅旅部和中共苏皖区委机关驻地溧阳县塘马村。罗忠毅和旅政治委员廖海涛指挥部队与日军展开血战，先后打退敌人８次冲锋，歼敌７００余人，使旅部、后勤单位１０００余人得以突出重围。而罗忠毅和廖海涛等２７０余名指战员在血战中壮烈殉国。

    罗忠毅、廖海涛牺牲后，新四军军部通电全军沉痛悼念：“罗廖两同志，为我党我军之优秀老干部，为党为革命奋斗十余年，忠实、坚定、勇敢、负责，艰苦缔造苏南根据地功绩卓著。罗廖两同志壮烈牺牲，全军一致追悼，昭彰先烈。”