青海军在各次战役中，由于豫东地势平坦，隐蔽不易，在作战中虽然行动敏捷，但骑兵目标过大，马匹损失不少，曾由青海补充战马500余匹。一战区长官部考虑到骑兵师人马多次奋勇作战，伤亡较重，长此下去，不易补充，便于1940年5月间暂调后方至豫西叶县、午阳等地进行整训。

    1940年7月，经马步芳同意，全师官兵调赴皖北的临泉及豫皖边界的沈丘两县，被整编为骑兵第八师。为了便于指挥，有利于战斗。取消了旧的旅、营建制。改为新的师、团、大连编制。当时全师编为3个团，一、二两个团为骑兵团，第三团为步兵团。此外，尚有师直属营、连等，马彪继续担任师长。整编后，仍属第一战区战斗序列，同时接受第五战区李仙洲集团军的指挥。

    8月间，骑八师调赴皖北的涡阳、蒙城、怀远等县，驻守涡河以南、沙河以北三角地带，牵制津浦铁路蚌埠沿线的日军。当时日军在蚌埠一线为六十师团，另有伪军两个师，与骑兵师对峙。骑兵师常出其不意地破坏敌占区的铁路、公路、桥梁等，以断敌通路，使其运输物资困难，并牵制了敌军的行动。据当时情报侦悉，日伪称该师为“马回子军”或“马胡子军”，对其戒备甚严。此时马元祥副师长回青海述职，被马步芳留用未再回皖，同时马步芳派孟全禄代理了副师长的职务。

    同年9月间，该师工兵连和一个步兵大连，进驻怀远县境涡河北岸的一个重镇--龙岗镇，并修筑了两道防御工事，埋设了很多地雷，对日军构成了威胁。日军便以大炮、坦克、装甲车配合步兵，围攻龙岗镇。先以炮弹轰击，继以坦克冲骑兵师阵地。骑兵师发挥地雷战的威力，炸毁敌一辆坦克。暂时遏止了敌人进攻。接着，敌人又以猛烈炮火掩护，派步兵探雷器寻找地雷。青海军便在隐蔽工事内，以机枪扫射敌人的探雷部队及出动的步兵，屡挫敌军锐气，打死日军数百人，使敌军遭受了重大损失。交战时，敌军的一面太阳旗突然倒下，敌阵出现混乱，于是马彪师长当即命令两个骑兵连，由附近的一个渡口渡过涡河，迂回袭击来犯龙岗之敌，敌军急忙溃退。被青海军击毙的日军尸体，因来不及运走，仅仅割走了各尸体的一只胳膊（据说日军把烧化的骨灰送回日本，叫做无言回国）。龙岗镇战场上，尸体纵横，约有三四百具。在退却中敌人又大放毒气，青海军未敢穷追。经过这次战役，皖北一带的敌军，犹如惊弓之鸟，再也不敢轻举妄动。从此，“马胡子军”的声誉传遍附近敌占区群众之中。

    1941年夏，日军以优势兵力，由皖北的寿县、凤台两县出发，企图三面包围骑兵师。当时马彪师长考虑到部队防守之地，是涡河、沙河之间的一个狭长地带，敌军六十师团和1个师多的伪军，沿沙河西进，是在骑八师的右后方，腹背临敌，难以支撑，并判定敌军的出动是扫荡，而不是西进。因此，决定骑兵师由怀远的河溜集、蒙城的双涧集、陆瓦房等地，转移到阜阳、颍上沙河以北地区。这个时期，敌我仅发生小部队遭遇战，并无大的接触，敌人扑空后仍退回原据点。

    马彪师初到皖北时，全师官兵都认识到是来打日本侵略军的，因而与友邻部队新四军彭雪枫支队双方经常派员联络，友好往来，彭雪枫部曾派人送给骑八师100匹军衣布料，马彪骑八师也派人给彭部送去战马10匹和20支步枪，还随时互通情报，共同对付蚌埠的日本鬼子，为此曾受到过国民党军事委员会和战区来电报责备。

    1941年后，马彪师内部意见分歧。当时马彪因兼任何柱国骑兵第二军副军长，并有升任六十四军军长的传说，于是有人即向青海马步芳告密，说马彪有野心，想脱离青海。加之补充的兵源，多是来自豫皖陕地区抽调的壮丁，似有摆脱青海的迹象。马步芳深恐骑八师闪失贩贩贩，1942年夏，由青海飞往重庆，向何应钦述职后，并向蒋介石当面报告说：“马彪因年老申请退休，拟由马步康去接替……”蒋介石准如所请。马步芳返青后，即派马步康带领部分人马（马步康系马步芳的堂兄）时任马步芳部一百师二九八旅旅长，前往皖北阜阳东北的马店子与马彪办理交接手续。马彪含恨未回青海，索性居住西安。不久马彪接到蒋介石电召去重庆，面谒蒋介石，当面诉说他并未要求退休，并表示：当此抗战紧急关头，宁愿当个老黄忠，战死沙场，保卫党国，死而后已。蒋介石嘉许马彪勇敢善战，屡立战功，犒赏银币10万元。并分别电示西安胡宗南及苏鲁豫皖边区总司令汤恩伯，予以妥善安置。 汤恩伯接电后，便在沈丘筹备成立骑兵纵队，打算由马彪来领导。曾派人在甘肃夏河等地买马数百匹，先成立了第一团，但由谁来任团长还未定。后来买马之事很难进行。马彪看到成立骑兵纵队的计划行将落空，只好仍返西安，以中将参议的名义，闲居西安市，马步芳听说后，及时将马彪请回了青海。

    1943年到1944年之交，敌人又发动了最后的进攻，掀起了中原大会战，先抢占了河南洛阳。日本侵略军为继续打通平汉线，重占该线水陆码头的漯河据点，调坂垣师团主力，首先围攻漯河外围的阜阳。为了保卫阜阳，苏鲁豫皖边区总部调骑八师赴颍上一带，作为侧翼掩护，参加了保卫阜阳的战役。在颍上县与友军主力部队取得联系后，作为机动掩护力量，尽量迂回到敌后出其不意进行袭击。当时正值田苗茂盛季节，人马容易伪装隐蔽，在偷袭、奇袭中，常使进犯的敌人付出惨重的代价。骑八师副师长卢广伟和一士兵也被敌人飞机投弹炸死，师长马步康及司令部其他官兵等幸而没有伤亡。中原会战结束后，骑八师又划归第五战区指挥，仍驻皖北。

    1945年日本投降后，骑八师与其他友军，奉命开往徐州“接收”，在徐州九里山一带待命。因为当时的中央军视骑八师是地方杂牌军队，只准在城郊驻扎，不准进城执行接收任务。而蒋介石嫡系部队在“接收”中，舞弊弄私，大发横财，故当时人民群众把“接收”称作“劫收胜利果实”。“接收”完毕后，直接指挥骑八师的第22集团军总司令李仙洲和陈大庆等建议调骑八师到山东去打共产党及其军队。当时马步康鉴于所属官兵多属家乡子弟，而且极欲凯旋返乡；同时马步康也看出打内战将愈陷愈深，全师有被消灭的危险，因而除急电青海马步芳代向有关方面斡旋外，马步康自己也直接向总部积极活动。最后，经过马步芳的积极活动，骑兵师于1946年1月，由陇海路调至陕西富平一带，当时由于战后部队缩编和整编的需要，就与暂编骑兵第二师马禄部合并，整编为一个师，仍保持骑八师番号，马步康仍任师长。同年3月调驻甘肃永登。骑兵师自离青东下，几经扩编、改编、整编，伤亡近万人，卢广伟副师长、马秉忠旅长等将士战死沙场。