七月下旬，蔣介石派劉斐促請白崇禧入京。七月三十日，劉斐船過九江，到廬山訓練團晤陳誠，並得與在團受訓的黃旭初、夏威會面。黃、夏聯名寫信給白崇禧，謂陳辭修教育長寄語，促健公入京，果能早日命駕，則將有助於抗戰大計的制定。八月二日，蔣介石親電白崇禧，邀他入京就副總參謀長。三日，白氏電覆蔣介石，允即入京。蔣介石於即日派了一架水陸兩用機由德籍機師駕駛到桂林候接。八月四日下午一時，白崇禧乘該機飛南京，同行的有潘宜之、劉斐、黃季陸等人。下午三時抵達，張羣、何應欽、程潛、朱培德、張治中等人到場接機，當晚蔣介石在官邸設宴招待白氏。
白崇禧此次入京，促成了大團結的形勢，馮玉祥、閻錫山、劉湘、龍雲以及領導人周恩來、朱德、葉劍英等都先後到達南京，顯示出精誠團結，一致禦侮。
八月十二日，南京召開最高國防會議及黨政聯席會議，商決抗戰大計，並決定推蔣介石爲陸海空軍大元帥，以軍事委員會爲抗戰最高統帥部。軍委會擴大編制，以白崇禧爲副總參謀長，因總參謀長程潛赴平漢線任第一戰區司令長官。白崇禧遂代行總參謀長職務。另設第一至第六部，分掌軍令、軍政、經濟、政略、宣傳、組訓事宜。
當時白崇禧曾建議設置大本營，以示全民團結抗戰的最大決心。蔣介石不贊成，他說：“中日未經宣戰，即以軍委會主持戰事可也。”
蔣介石爲給予白崇禧順利行使幕僚長權力的便利，調黃紹竑爲第一部長，主持軍令工作。當時軍委會以山西情勢危急，遂派黃紹竑前往山西視察，並協助第二戰區司令長官閻錫山指揮作戰。黃紹竑在協調晉軍和八路軍作戰行動方面起了積極的作用。
實踐證明，蔣、白之間經歷了這麼多年的隔閡和猜疑，此次入京會晤之後，彼此都沒有需要任何疏通和解釋，便能夠在共同對敵的民族大義鼓舞下，開誠相見，並肩戰鬥。“兄弟鬩牆，外禦其侮”，原來是中華民族偉大傳統精神的體現。在這裡更證明了它是一條真理。
八月十三日，日寇以上海公共租界爲根據地，於上午九時十五分向江灣及閘北方面進犯，軍委會命張治中率軍三師奮勇應戰，全面抗戰於是開始。軍委會隨即劃淞滬爲第三戰區，以馮玉祥爲司令長官，顧祝同爲副司令長官。蔣介石慣於直接指揮，白崇禧此時以副總參謀長的地位，只能作爲最高統帥的代表，經常到前線巡視，指導作戰方略，協調部隊。
時軍委會劃兩廣爲第四戰區，以何應欽爲司令長官。八月二十八日，白崇禧電李宗仁雲：“統帥部決將津浦線劃爲第五戰區，並請我公出任司令長官。過去公首倡焦土抗戰主張，國人深表贊同，如能乘此時期，躬行實踐，則對中外視聽，必有重大影響。敬盼迅賜卓裁電覆。”李首先謙遜一番，最後還是答應擔任，並令韋雲淞的第三十一軍和廖磊自兼的第四十八軍開動北上，參加抗戰。
白崇禧在淞滬前線視察，發現第三戰區司令長官馮玉祥白天不在長官部，而住在離上海約一百五十里的宜興張公洞。他把私章交給顧祝同代拆代行。白崇禧因此向蔣介石建議，在黃河以北的宋哲元、石友三、孫連仲（1893—1990，國民革命軍二級陸軍上將，著名抗日戰爭將領。馮玉祥的十三太保之一，抗日戰爭時期因堅守臺兒莊而聞名中外。曾先後任國民政府青海省、甘肅省、河北省主席。）、馮治安（1896—1954，1912年投身於馮玉祥將軍麾下。“七七事變”後與日本侵略軍展開了英勇不屈的戰鬥，拉開了中國全面抗日的帷幕。1949年隨國民黨去臺灣。）各部，都是馮玉祥一手訓練的部隊，如將河北及山東北部劃爲第六戰區，以馮玉祥爲司令長官，則在指揮上將可收駕輕就熟之效，蔣介石同意照辦。因此自九月十六日起馮玉祥轉作第六戰區司令長官，由蔣介石自兼第三戰區司令長官。後因西北軍將領反對馮玉祥前往指揮，蔣介石又請馮氏回來擔作軍委會副委員長。
在白崇禧視察期間，還發現蔣介石在部隊中製造矛盾，陳誠的嫡系部隊第十八軍，原來由第九集團軍總司令張治中指揮，後來蔣介石發表陳誠爲第十五集團軍總司令，第十八軍改由陳誠直接控制，可是蔣介石卻沒有把這一變更通知張治中。及張治中去看第十八軍的兵力部署，該軍軍長羅卓英（1896—1961，由下級軍官升至國民黨第18軍軍長。1935年，晉銜陸軍中將。1942年任遠征軍司令長官，入緬作戰。後轉往印度，主持蘭伽遠征軍訓練。抗戰勝利後，曾任廣東省主席。後去臺灣。）居然這樣說：“張總司令竟到我們這裡來了？”使張治中感到非常難堪。因憤而辭職。後經白崇禧居中調度，蔣終批准張辭職，改以朱紹良任第九集團軍總司令。
有一件事證明白崇禧自外於蔣介石，蔣氏乘專列到蘇州指揮，白崇禧偕行。一夜，蔣介石叫他的侍衛長王世才送五萬元給白崇禧，白氏拒而不受。自此以後，蔣介石就不給白崇禧送錢了。對將領施恩施惠，原是蔣介石籠絡部下的一貫手法，白崇禧這樣拒絕他的“恩賜”，對蔣氏頗有“見外”之感。以後蔣、白之間始終抱有一定距離，與此也有多少關係。
白崇禧對淞滬戰事，以爲上海附近夾在黃浦江和長江中間，港灣縱橫，日寇仗着陸海空聯合作戰的威力，易於發揮優勢。我軍則因裝備較劣，後方交通澀滯，在這裡與敵進行陣地戰，不見得怎樣有利，而以轉移到山川險要地區與敵決戰爲宜。對此，蔣則以爲，上海華洋雜處，與歐美各國利益息息相關。在淞滬與敵長期作戰，可能引起國際干涉，而對“九國公約”會議的召開寄予厚望。後來事實證明，他的幻想終成泡影。
滬戰初期，我實行攻勢作戰，曾一度進展到匯山碼頭，八月二十二日晚，敵第三師團、第十一師團及第一〇一師團之一部分於川沙、獅子林、寶山等地同時登陸，向羅店、瀏河之線南犯，其主力於二十九日陷羅店，旋吳淞、寶山亦相繼不守，我軍全線轉移到北站、江灣、廟行、雙草墩之線，與敵展開激烈的爭奪戰。
九月中旬，到滬敵軍還有第六、第九、第一一六師團各一部，經激戰後，我軍乃退守蘊藻濱南岸，陳行、廣福、瀏河之線。十月七日，敵第三、第九兩師團由蘊藻濱北岸開始強渡，企圖一舉突破我陣地，進佔大場南翔。
十月中旬，我爲恢復蘊藻濱南岸陣地，決定進行反攻，乃以廖磊集團軍第七軍、第四十八軍爲第一路軍，由黃港北、侯宅、談家頭附攻擊蘊藻濱南岸之敵；以葉肇第六十六軍爲第二路軍，由趙家宅向東攻擊；以孫元良第八十八師爲第三路軍，由廣福南側地區攻擊前進。十月十九日，攻擊開始，適逢敵主力向我進攻，遂演成爲大規模的遭遇戰，因彼此裝備懸殊，我軍傷亡甚大，如桂軍第七軍傷亡過半，死傷旅長龐漢禎、夏國璋、秦霖等六七人，團長廖雄、謝鼎新等十多人。我被迫後退，敵乘勢猛攻，大場旋告不守，至是我上海守軍側背，大受威脅，乃於十月二十六日向蘇州河南岸轉進。
十一月五日，敵第六、第八兩師團，由杭州灣北岸全公亭金山衛等處登陸，直逼松江，我吳克仁部因集結未畢，遂被擊破。此時我淞滬陣地側背益感受到嚴重威脅，軍委會乃於十一月九日下令上海全線撤退。總結滬戰集結了全國精銳，支持了三個月，雖不能如蔣介石所預期那樣，引起國際上的實際支持，但也初步粉碎了日寇速戰速決的美夢。