6月20日，中日双方在衡阳周边50公里的范围内，分别投入了30万与35万兵力，先于外线展开激战。至7月底，日军4个精锐师团相继逼近战略中心衡阳。国民党第九战区第十军方先觉部扼守衡阳，抵抗日军的猛烈进攻。此次衡阳之战，是抗战后期最大规模的一次会战，被蒋介石称之“有关于国家之存亡，民族之荣辱至大”的最后一场生死之搏。
此时，日军大本营灯火通明，各级将官、参谋人员日夜研究、观注着这场战事，中国军民与各党派团体翘首以待，盼望国军用尽吃奶的力气也要顶住，千万不要被打趴压垮。身在陕北延安窑洞的中共领袖毛泽东在对这场大战给予热切关注的同时，又以一个卓越战略家的智慧与姿态高屋建瓴地指出：“衡阳的重要超过长沙，它是粤汉、湘桂两条铁路的联结点，又是西南公路网的中心，它的失守就意味着东南与西南的隔断，和西南大后方受到直接的军事威胁。衡阳的飞机场，是我国东南空军基地之间的中间联络站，它的失守就使辛苦经营的东南空军基地归于无用。”
不仅如此，“衡阳位于湘江和耒水合流处，依靠这两条河可以集中湘省每年输出稻谷三千万石，还有极其丰富的矿产，于此集中，这些对大后方的军食民食和军事工业是极端重要的，它的失守会加深大后方的经济危机，反过来却给了敌人以‘以战养战’的可能性”。
正是缘于衡阳及其周边地区在军事中不可取代的重要战略地位，从武汉失守到1944年日军围攻衡阳，在将近6年的时间里，这一带战事作为中日交战的主战场曾未消停过。1939年中国十大战区，以湖南为主要战场的第九战区拥有最多兵力，极盛时达到54个步兵师，占全国总兵力的四分之一强。1939年至1945年抗战胜利这段时间，正面战场共有12次重量级大会战，分别是：第一次长沙会战、豫南会战、上高会战、枣宜会战、晋南会战、第二次长沙会战、第三次长沙会战、浙赣会战、鄂西会战、常德会战、豫湘桂大会战、老河口芷江会战。其中有6次大会战在湖南战区展开。七七事变之后，日军原定计划3月亡华，但仅湖南一地，国军就顶了5年之久，多次会战，日军始终未能越雷池一步，即此可见湖南战略地位之重要与国军高层对这一战区的重视程度与兵力之强。
此时驻守衡阳的国民党第十军，前身为黄埔教导团，北伐时代扩编为国民革命军第三师，或称“老三师”，其将领分别为钱大钧、李玉堂、蒋超雄、方先觉、葛先才、周庆祥等，历届第十军军师长也多为“老三师”旧部。抗战军兴，第十军成为国民党五大主力之一，其特点是善于防御作战。抗战八年，第十军打硬仗的次数和展现的顽强斗志，并不亚于号称“虎贲”之师、“抗日铁军”的王牌第七十四军（抗战后整编为七十四师，师长张灵甫）。
第十军最出色的一战是1941年年底至1942年年初，三战长沙中担任长沙守备任务的保卫战。时军长为黄埔一期生，号称“黄埔三杰”、“山东三李”（李仙洲、李延年、李玉堂）之一的李玉堂。当此之时，李的指挥部设在岳麓山前一个祠堂内，面对飞蝗一样围攻而来的日军，李镇定自若，从容指挥。一日中午，李玉堂在指挥部一手拿煎饼，一手用筷子夹食大头菜，忽有敌弹飞来，将眼前一个盛大葱和虾酱的咸菜罐子击得粉碎，李不为所动。转眼又一弹飞来，将筷子击为两截，李有点气愤地骂了一句“把他娘！”即用手抓大头菜吃。部下劝李更换指挥位置，李认为飞来的乃是流弹，无碍大局，终未搬迁指挥部。在李玉堂以身作则的感染下，第十军将士豪气凛然，于岳麓山和长沙城头与敌人展开血战，致使日军伤亡惨重。1942年1月1日，日军再度发动对长沙的进攻，第十军也抱定与长沙城共存亡的决心，连续与敌激战三昼夜不分胜负，日军调集大批飞机对长沙城守军实施连续长波次轰炸，守军伤亡惨重，日军占据上风。延至1月4日，奉命守卫长沙南门城外的第十军预十师三十团与攻城的敌人短兵相接，展开肉搏，一时血肉横飞。日军在飞机配合下，攻势凌厉，长沙城岌岌可危。黄埔四期出身、三十团团长郭先才上校见部下伤亡激增，情况危急，恐支持不到黄昏长沙就落入敌手，焦急中乃决定孤注一掷、拼死一搏，发动全团展开冲锋。一时间，十数支军号响起，全团官兵包括炊事兵、杂务兵、传令兵等一切勤杂人员全部投入冲锋与肉搏的行列中。军号声与喊杀声与全团官兵势将一死的浩然气势，使敌人大受惊吓，惊慌溃退，兄弟部队乘胜追击，长沙之危就此得解，第三次长沙大捷的序幕就此拉开。
当晚，葛先才奉蒋委员长令晋升少将，军长李玉堂获颁青天白日勋章。1月5日，第九战区司令长官薛岳上将下达了追击、堵击和截击溃退日军的命令，湘北大地顿时杀声四起，炮火连天，敌军以伤亡57000人（阵亡33941人）的惨重代价宣告此役败亡，中国军队就此书写了近代战争史上最为辉煌的一页。在整个长沙大捷中用命最甚、立功最大的第十军，获颁国军最高荣誉“飞虎旗”一面，被军事委员会命名为“泰山军”。
第三次长沙大捷，第十军声名鹊起，军长李玉堂荣升第九战区兵团司令，第十军军长由原黄埔三期生、该部预十师师长方先觉接任，方的第十师师长一职由葛先才继任。
此次守卫衡阳，正是方先觉统领的第十军。
此时的第十军因此前参加常德保卫战遭到日军重创，原四师（第三师、第一九○师、预备第十师、暂编第五十四师）已折半，仅相当于两个师的兵力，共有1.7万余人，属于久战疲惫之师。而日军围攻衡阳部队除第十一军4个师团，另有直属炮兵、化学部队等共计11万人，中日兵力比值为1：6.4，如此悬殊的兵力对比，在整个抗日战争属首次出现，正因了这诸多的因素，为这场战争增加了一系列悬念并涂上了悲壮色彩。
按照国民党军事委员会原定计划，国军主力布置在衡阳外围，以方先觉部万余人吸引日军倾全力前来攻城，只要方部扼守衡阳10天，最多两周，即有外围主力部队增援并成铁桶合围之势，里应外合，一举围歼来范之敌。
日军大本营的作战方案是，倾第十一军团全部兵力围攻，于一日之内可攻陷衡阳。就在这作战命令下达时，老谋深算的第十一军团司令官横山勇，识破了中国军队高层的战略意图，未敢轻易发兵，只调集两个师团部分兵力3万余人作前锋，分波次向衡阳围攻，其他部队则负责阻击外围的国民党援军并伺机围歼国军主力。用横山勇的话说：“只要将敌人外围主力击破，衡阳守军得不到援军，在无补给之情况下，至其战力耗尽时，则不攻自破矣。”既然中国原有的战略部署被日军破解，战争的进程也就出乎双方军事高层预料之外了。
6月23日凌晨，衡阳攻防战正式打响，双方均以火炮为主猛击对方，日军主用重炮与野山炮，中方主用迫击炮，中间伴有其他武器交火与小范围、短时间的肉搏战。中国守军士气高涨，日本方面“负责攻城之两师团，鉴于长沙之攻占，已被他人捷足先登，功震全国，乃欲急起效尤，一时战志如云”。
两支强军狭路相逢，各怀战志，死拼硬磕，战斗持续了近一个月，双方伤亡重大，未分胜负，攻防双方皆拼全力支撑。多少年后，据方先觉对日本《产经新闻》记者古屋奎二说：“由于长期作战，医药品和食品缺乏，极感困苦。没有止血药剂，没有绷带，负伤官兵的伤口有发炎生蛆的现象。本来可以救治的官兵，很多都死亡了。我们给予敌人的打击也非常之大，每天可以望到敌阵在举行火葬的烟焰。整个衡阳城被死尸臭气所笼罩，实在是很悲惨。”
衡阳交战前，日军大本营拟定在一日之内攻占衡阳的战略成为泡影，事后被日军军史专家斥为“其必胜之信念，诚属可嘉；其庙算之粗率，罪无可逭”。
日军如此，中国军队同样陷入了因高层庙算不周而导致在旋涡中不能自拔。在苦战中勉力支撑的国民党守军日夜盼望的增援部队，因受日军外线阻击，行驱艰难，始终未能抵达衡阳城门。经过如此长时间的消耗，衡阳已成为一座内无粮草、外无救兵的孤城。
而日军自7月下旬起，设在外线的兵站每夜仍可向衡阳前线官兵输送30～40吨的给养。面对此情，亲自指挥此次会战的中国最高统帅蒋介石意识到局势严峻，严令外线各军迅速攻击前进，以解衡阳之危。但在日军强大炮火与兵力阻击下，7月20日，国民党第六十二军进展至衡阳西南约7公里处，由西北增援之第七十九军亦距衡阳不过8公里处，受到敌人猛烈炮火的压制，而第十军于19日夜间派出向第六十二军方向接应的特务营也遭到日军伏击，全部阵亡。