会战之初，中国军队投入兵力为3个师又1个旅、炮兵1个团又1个营、上海市警察总队、江苏保安队2个团，另有海军轻巡洋舰及驱逐舰10艘、炮艇、鱼雷艇20余艘；空军参战飞机250余架(兼顾南京等重要地区的空防)。陆军分为左右两翼，左翼军为由京沪警备部队改编而成的第9集团军，总司令为张治中。右翼为张发奎担任总司令的第8集团军，由苏浙边区部队改编而来。前者在浦西负责扫荡日军据点，后者在浦东担任警戒、支援和配合。这两个集团军都属第三战区管辖。淞沪会战刚开始没多久，中国政府就成立了大本营，以蒋介石为大元帅，编定全国战斗序列，将江苏长江以南(包括南京、上海)及浙江地区划为第三战区，以冯玉祥为司令长官、顾祝同为副司令长官。蒋虽任命冯玉祥为主官，骨子里对其并不信任，故用心腹干将顾祝同副之，并特地交待”以顾副长官之命令为命令”，这样一来冯的司令长官不过是个空架子，什么事也管不了。”八。一三”淞沪开战之后，冯玉祥曾写了7条遗嘱，表明抗战决心，并不惜准备随时为国赴死，如今这位昔日叱咤中国政坛的风云人物有心杀敌，却无处使力，只好无奈地对别人说，自己上任期间只能做两件事：”一是任日本飞机来炸，二是作几首骂日本人的诗”，这句自嘲的话，听来不免让人觉得无比悲哀。
8月下旬，中国各部队继续围攻盘踞在海军陆战队司令部、杨树浦等据点的日军，新抵达战场的国民党军精锐之师第36师迅速投入战斗，在战车掩护下攻入汇山码头，同时空军再次出动配合，轰炸地面及江上日军目标。我军终因装备低劣、火力不够威猛，面对钢筋混凝土筑造的工事而一筹莫展。中国仅有的装甲部队--南京装甲团配属第36师的两个连战车既无强大火力保护，又缺乏与步兵协同作战经验，反被日军舰炮悉数摧毁，两连官兵也全部覆没，壮烈殉国。从8月20日晨至8月22日，宋希濂第36师、王敬久第87师、孙元良第88师和夏楚中第98师的进攻均受阻。此时战局陷入僵持，日军龟缩据点一面负隅顽抗，一面等待援军。中国军队竭尽全力仍不能有太大进展，部队伤亡严重。8月23日拂晓，增援日军先头部队在海空火力掩护下，在狮子林、川沙口、张华浜等方面登陆，战况骤然吃紧。蒋介石闻讯，急忙命军政部次长陈诚为第15集团军总司令，指挥第98师、第11师及刚到嘉定的第67师、第14师火速分赴各处抗击敌人登陆。
眼见情况不妙，蒋介石深感有亲自到前线督战的必要，一来能鼓舞士气，二来可以就地掌握第一手情况好作出相应部署。8月25日，蒋介石偕夫人宋美龄及顾祝同、陈诚等一干高级将领，冒着瓢泼大雨从南京急匆匆赶到南翔，召集军事会议。冯玉祥也冒雨从无锡的第三战区司令长官驻地赶来。会议先由各师逐一报告战况，之后张治中汇总条陈，蒋介石最后发表讲话：”综观近日之战况，我军伤亡奇重。战争固不能免于伤亡，然指挥失当，致使死亡猛增，牺牲殊无价值。我军缺点在于攻击实施之前，未能充分考虑，轻率从事，牺牲也就大。今后应悉心研究，当攻则攻，当避则避。”显然蒋介石话中有话，一句”指挥失当”、”轻率从事”将责任推给了冯玉祥。冯尽管一肚子委屈和愤懑，却也无可奈何。
抗战时期，在抗日救国的旗帜之下，冯玉祥与蒋介石关系总体是较为缓和的，冯服从蒋的领导，蒋尊重冯的意见。在民族危亡关头，冯玉祥对蒋介石做了三件事：不断激励蒋坚定抗战决心；注意维护蒋的领袖地位和尊严；也敢于批评蒋的不足。
抗战爆发后，冯玉祥呼吁联合抗日，反对妥协投降。当时恐日症、亡国论甚盛。抗战时期，蒋更几经动摇。在1939年1月的国民党五届五中全会上，蒋介石曾解释“抗战到底”的意义说：“我们这次抗战的目的，当然是要恢复卢沟桥事变以前的状态，如果不能达到这个目的，就不能和日本开始谈判，假使能够恢复卢沟桥事变以前的状态，可以开始谈判，以外交的方法解决东北问题。”
实际上，关于“抗战到底”，冯玉祥早就有过解释。在1938年10月的武昌最高国防会议上，汪精卫与白崇禧、冯玉祥谈论什么是“抗战到底”，冯回答说：“把所有的失地都收回来，不但东北四省，就是台湾和琉球各岛，都要交给我们，并且日本帝国主义无条件的投降，这就是抗战到底。”这当然使汪精卫很不喜欢，当时蒋也在场，但没有关于他表态的记录，很多资料显示，蒋介石在抗战前期，一面对日作战，一面又通过各种渠道与日本秘密谈判，蒋的谈判虽是虚虚实实，有时不失为一种策略，但难免有脚踩两只船之嫌。
对于蒋介石可能产生的动摇，冯玉祥为其痛陈利害，冯以赤壁之战前孙权与鲁肃的对话启发蒋指出：“汪精卫一班人为了富贵，什么坏事都敢做。委员长您只有抗战这一条路，失败也是成功，成功也是成功。”冯甚至要求蒋效仿孙权，砍掉桌子的一角，以表明抗战到底之决心。蒋介石对冯玉祥的意见非常赞成，当晚，冯玉祥将谈话要点在长沙广播，这使大家都知道了蒋介石有抗战的决心。
蒋介石当时身处最高统帅位置，冯玉祥清楚懂得拥护蒋介石的重要性，处处注意维护蒋的领袖尊严。
在冯玉祥任第六战区司令长