新四軍成立后，中共中央指示新四軍主力向江南挺進，開展敵后游擊戰爭，創建抗日民主根據地。1938年4月28日，新四軍軍部以第一、第二支隊與第三支隊部分團以下干部和各偵察連共400余人組成先遣支隊，粟裕任司令員兼政委。先遣支隊由皖南巖寺潛口出發，于5月中旬進入蘇南敵后，進行武裝偵察，為主力進入蘇南敵后做準備。

先遣支隊出發后，第一支隊主力立即于5月12日由太平(現屬黃山市)向東進發，6月中旬到達以蘇南茅山為中心區的鎮江、句容、金壇、丹陽、江寧、溧水一帶。隨后，第二支隊主力開始從皖南分批向東挺進，8月到達南京蕪湖鐵路以東，南京杭州公路以西的江寧、當涂、溧水、高淳地區。6至8月，第一支隊在京滬鐵路、京杭國道兩側，發揮近戰、夜戰的優勢，連續對日軍展開伏擊、突襲、奔襲和夜襲作戰，先后取得了大小數十次戰斗的勝利。

6月15日深夜，先遣支隊奉第三戰區命令，破壞了一段京滬鐵路，地點是龍潭、鎮江間下蜀街附近，致使京滬鐵路交通中斷數小時，正在通過京滬線的一列火車出軌，該列車是日軍運輸物資的專列。日軍被迫增加保障交通運輸的兵力。16日拂曉，新四軍部隊轉移到下蜀南面的亭子休息。此前粟裕親率偵察人員，已經對鎮江至句容公路的地形和日軍活動情況進行了偵察。經過對這一帶地區的多次偵察，粟裕選中了韋崗作為伏擊地點，伏擊日軍的汽車運輸隊。17日凌晨2時，大雨傾盆，部隊冒雨從下蜀后山出發，早上8時左右，先遣支隊剛剛進入伏擊地域后不久，日軍的五輛汽車由鎮江方向駛來，車內共有30余人。日軍車隊一進入伏擊圈，就遭到先遣支隊猛烈襲擊。日軍倉皇下車，有的竄入公路邊草叢，負隅頑抗，有的跳入水溝，有的鉆進車底。先遣支隊由于迅速控制制高點，對頑抗的日軍進行了瞰制射擊。經半小時激戰，擊斃多人，繳獲長短槍20余支及四卡車軍用物資。

韋崗戰斗是新四軍進入蘇南敵后的第一戰。“這一戰斗的勝利，不僅奠定了我軍進入江南戰區的基礎，而且開辟了勝利的先聲。”參戰部隊回到宿營地后，粟裕看到戰利品，非常高興地即興作詩一首：“新編第四軍，先遣出江南。韋崗斬土井，處女奏凱還。”陳毅接到捷報，當即賦詩祝賀：“彎弓射日到江南，終夜喧呼敵膽寒。鎮江城下初遭遇，脫手斬得小樓蘭。”表達了廣大軍民對初戰獲勝的歡欣情緒。