当然，对于战争双方都是有准备的。在战前，苏军共向淮河沿线派驻了一个师一个旅，兵力为1.7万余人。江苏的总兵力兵策上说是9.3万人，实际上剔除了张文生的编制员额为6000人的第76混成旅后，实际员额为8.7万人，五师四旅。李纯早就知道战争不可避免，于是他就发电向吴佩孚询问她的态度，而吴佩孚的回电是，“此时不动，更待何时？”他又确认同盟的态度，我明确的向他表示，我想他提供军火，当然是要钱的，虽然便宜一点。此外，我还向他保证，如果徐树铮南下，那么同盟将会从后面进攻他。
于是李纯就开始整编军队，因为废除镇守制度是会得罪一些人的，如不做应对，弄不好会在战时出问题，对于这一点，李纯这个老军阀不可能不知道。当李纯一边展开最后的“和平努力”，一边磨刀霍霍的时候。5月4日，徐海地区议会“悍然”通过了“徐海地区约法”，宣布徐海自治，“选举”张文生为“元帅”，总理军政事务。如此一来，双方再无路可退，因此，民国时报发表军事评论说，“战争已经爆发了，只是没有宣布而已。”
在新华社的采访中，针对战争问题，张文生表示，“我们的友好邻居倪嗣冲不会坐视他的邻居的天赋自治权利受到侵犯的，强大的安武军不是李军能够相抗衡的，而且李军最近由于内部整编军心浮动，因此发动战争对于他来说是不明智的。”“江苏的分治由来已久，徐海民众珍惜他们长期以来的的权利，希望李纯尊重徐海地区的民意。虽然我们认为李纯仍然是个独裁者，但是我们认为，既然他认为自己是个民主人士，那就应该尊重民主的规则，尊重民众的权利。”他的谈话，通过新华社及其相关的报纸电台迅速传向全国，一时全国舆论哗然。
5月10日上午，在长期的争吵后，在泗阳与清江县的边界上发生了军事冲突。当日，双方都发表通电指责对方“进行军事挑衅”，于是鉴于形势严峻，张军宣布进行自卫，而苏军自然也不甘示弱，宣布进行平叛，议会还通过决议，“要求张军将士，认清形势，临阵反正，省府决不追究。”中国自“太平之乱”以来最大的内战就这样开始了。
据后世史家推测，虽然从文献资料上难以确定到底是谁开第一枪的，但是从战争初期的形势来看，判定是张军先发制人，主动发动战争的更加可信。10夜，同时接到上级命令而向前开拔的苏军和张军在清江县的运河、黄河故道沿岸意外遭遇，双方都不明白对方的实际情况，但是显然都不能主动撤退，因为他们都害怕撤退引起混乱，于是一夜混战，双方各死伤1000多人。次日晨的时候，苏军通过审讯俘虏，终于明白了这是张军12000人的主力部队，他们想夜袭清江县城，夺占淮河渡口。
于是，苏军就一边坚守，一边向南京发电，请求快速支援。但是，到下午的时候，苏军就发现在他们的身后出现了大股敌人，于是没过多久，苏军就开始混乱，战斗不到2个小时，苏军就开始溃退，待逃到清江县城，终于发现该城已经被张军给占了。后来的记载表明，安徽、山东在日本顾问冈村宁次的“妙计”下，秘密的向徐海地区各派出了3000人的“志愿”人员，这些人实际上是从皖鲁各军中抽调的人员，这支军队很快被编为“徐海自治军独立第1旅”。
冈村宁次生于1884年，是日本东京人，日本陆军士官学校毕业。1923年，张文生和日本以及皖系的秘密协定签订后，冈村宁次被日本政府任命为日本驻青岛武官并成为张的军事顾问。冈村宁次认为除非要让李纯下台，否则徐海地区将不得不通过防御和友邻的协作通过军事防御迫使江苏当局承认徐海地区的现状。而最佳的防御线莫过于淮河一线，于是他制定了发起突然袭击，夺取淮河渡口，然后通过徐海防御、友邻协作，迫使江苏屈服的战略方针。
但是，淮河沿岸苏军共有一个师一个旅，分别驻扎在淮北的清江和淮南的淮安，他们之间被淮河隔开。于是，冈村提出了诱使清江苏军出城，然后将其消灭在野外的计划，但是双方此时兵力相等，即使打得再好，大概也只能够将该部苏军击溃。冈村又献一“借兵”计划，于是所谓的“自愿”兵产生了，这些兵力对军力庞大的鲁皖来说根本不算什么，补充的兵员由于数量少根本不会影响原部队的战斗力，但是6000人的生力军足以在这个局部的战场上产生意想不到的后果。
张军的原本计划是，第1师夜间袭击清江城，然后于清晨“溃败”，在苏军主力追击后，秘密的第1旅突然从背后意想不到的杀来，然后第1师在杀个回马枪，争取全歼或者至少击溃苏军主力，然后乘势攻下清江城，夺占淮河渡口，然后相机转入防御。但是，没想到双方在夜里打了个遭遇战，第1旅等了半天也发现苏军和友军的部队。军事侦察后发现，苏军主力已经出城，只有少量留守，于是第1乘机夺占了清江城，然后开始寻找苏军主力，终于在天明十分他们摸到了苏军的后面。
但是，一夜混战，苏军和张军第1师的战线已经没有规则，再加上第1旅也部署部严密、兵力也有限，于是只能够击溃苏军。苏军一路溃败，等到第二日，终于混乱的撤退过淮河，和在淮安的第74旅汇合，该旅本为通海镇守部队，4月底刚刚和原驻淮安的苏军第1旅换防，而他们的指挥官也调换了。该旅现在的指挥官鉴于部队舟车劳顿，在接到清江守军的移防要求后兵没有立即向清江方向移动，结果使得清江城成为一座空城。与此同时驻扎在扬州的新编的苏军第二旅也由于铁路遭到“不明身份”的人员的破坏而在高邮境内受阻。
可以说，虽然有点偶然，但是张军在战争初期取得了一个完美的胜利，撤退到淮安的苏军第17师只能收拢不到6000人，一个星期后，溃散的其他士兵才陆续归队，那时也不过不足8000人，损失了三分之一的人员，而且还丢弃了所有的重武器，包括3门德式大口径火炮。倘若此时张军迅速南下，一举击溃已成惊弓之鸟的不足12000人的苏军淮安之敌还是很可能的，何况他们还有三门大口径火炮，此时的淮安从没想过要打防御战，因此几乎没有什么防御工事。
但是此时，张军犯了两个致命的失误，一个失误是由于事出突然，顺利攻占清江城的张军竟然当日在清江城里开始摆起了庆功宴，寻欢作乐起来了。直到第2日夜，冈村宁次才在徐州获得战报，当时他就大骂“愚蠢”。然后，当日他连夜赶到张文生的府第说动他命令军队迅速进攻淮安城，因为这个日本人认为一旦此战胜利，那么至少短期内，苏军将难以发动攻势，这对张军的后续防御极为重要。另一个错误是，随队的日本顾问官认为三门巨炮的炮弹已基本被苏军第17师一夜混战中浪费完，因此作为“回礼”应该交给日本帝国研究研究。
结果，张军延误了整整40个小时，这给了苏军已反应的时间。除了张军的错误外，这场战争中初露头角一位将军也发挥了重要的作用，他就是新编江苏陆军的第2旅少将旅长计雨亭。此人又名龙章，1894生于阜宁县硕集乡。幼年家贫，在家乡读私塾数年，后入南京讲武堂学习。1914年至舅父扬州游缉统领马玉仁部第一营任差遣，尔后历任排长、连长、营长、团长。这个马玉仁就是那个曾经的淮阳镇守使现在的第74旅中将旅长，就是他的疏忽使得张军顺利的攻占了清江城，也是因为他的外孙的英勇表现，李纯才没有追究他的责任。
计雨亭1922年被李纯选入奉天陆军大学速成班学习，一年后他结业的时候，正好是李纯扩编苏军两个旅的时候，他的资历很好，于是就被选中组建第2旅，该旅大部都是苏北这个和苏南比起来相对贫瘠的地方的农家子弟。他的部队在一年的训练后，其军事素质急速提升，在接受李纯的检阅后，被他称为是“难得一见的劲旅”。这些农家子弟吃苦耐劳，国民军跑不死的本领他们也学得像模像样，此次苏军北线苏军失利，徒步机动力的作用终于的得到了检验。
苏军第2旅在铁路被毁后，计雨亭果断的让部队轻装徒步机动终于在30个小时后到达了200多里外的淮安城，他的到来稳住了军心，他们用了6个小时快速的加固了本来建设缓慢的工事。当次日张军来进攻的时候，苏军兵力已经增加到了1.8万人，一场大战以张军损死伤2000余人而结束，但是精疲力竭的苏军此时显然也没有办法发动新的进攻。于是，一度紧张的淮河战线就暂时稳定了下来。
再说李纯听到17师大败兵丢失了重装备的消息后，勃然大怒，只是由于他相信现在再次换帅会导致军心进一步浮动才没有认真追究。李纯迅速采取了措施企图挽回局势，一方面他向吴佩孚求援，另一方面他要求议会给他更大的支持，于是江苏省议会就通过了增加军事拨款的法案，毕竟这是形式嘛，就算假的，也要假事真做。江苏省此时的军队第6师、苏军第1师部署在江宁一带，防卫安徽，19师部署在宜兴、江苏第2师、第3旅部署在苏州一带防卫浙沪。能够调用的只有在南通的第1旅，于是李纯就命令该旅增援淮河，同时为了度过淮河，李纯再次向淮和调拨了3门巨炮，只不过这一次配备给了第3旅，与此同时，他还向我定购2个师的日械装备和12门巨炮。看来他准备大干一场，他大概怎么也咽不下这口气。
再说吴佩孚在5月13日接到李纯的求援电后，他大感到机会来了。现在直系各军有超过35万人，而皖系东部沿海各军算起来也有超过35万之数，双方实力基本相当，但是一方面皖系各军较为分散，像山西、福建的军队都地处偏远，到底会不会参战还说不定呢？此外徐树铮的部队也很可能受到同盟的压力而不能参战，这当然加大了他的胜算。但是，如此大战，双方实力相当，胜负往往难以预料，吴佩孚虽然不可能放弃，但是显然也会大大的话一番心思。
此时吴佩孚虽然也像参战，但是在他的东面还有一个赵绸，这个赵绸当初本是在直皖之间摇摆的人，只是由于段祺瑞的逼迫，他才会加入直系阵营的。后来他的领地又被吴分掉了一半，只是由于吴的武力强大才会不吭声的。自然，吴佩孚为了支援他，每年都会援助他一些，毕竟赵绸的领地除了耕地，几乎什么都没有。不过，战场上瞬息万变，难保他不会携兵自重，最好的办法莫过于把他推入战火，这样才能保证自己的后方安全。
于是，吴就以安徽督军相诱，想让赵部的豫军打个先锋，一方面可以让自己可能获得整个河南，另一方面，也可借着赵绸扩张势力，同时去掉自己的负担，他当然也知道树大招风的道理，何况他可比不得同盟，地处边疆，别人够不着，他是完全相反，地处中原四战之地。这也是发牌的一种方式，一下子发出所有的底牌显然不是智者作为。于是14日，豫军以张文生“践踏民主，不服国法”为由宣布对张文生发动战争，当然所谓不服国法就是从来没有地区可以自治的惯例。
豫军的参战改变了战场上的力量对比，因为此时的徐州几乎已经是一座空城。于是，张文生的忠实盟友倪嗣冲终于也是“协防自治”为由，迅速的于次日加入战争，安武军通过铁路机动调集三个师3.75万人在徐州、萧县、毫州一线展开防御。此时，皖军的另外四个师分别有部署在皖西南的两个师以及部署在芜湖长江沿线的一个师，在江北合肥附近还有新编的安武军的一个师，该部主要是守卫铁路以及安徽腹地，并作为机动兵力。
显然，如此局势时间一长皖系必然要走向失败，于是段祺瑞开始筹划皖系的其他的各部参战。首先动员的当然是鲁军，其次则是浙军。段祺瑞当然知道日本人的作用，很快这个已经下台的老军阀和日本合作，日本人此时认为皖系此时还没有能力战胜强大的直系，也害怕同盟会乘火打劫。双方制定的方针防御迫和，商量了半天，为了尽量不扩大战争，最后决定由鲁军先派出两个旅作为自愿军参战。此后，各种形式的自愿军开始纷纷出现，好像双方都认为不是自己打仗似的。