Từ khi Nhạc Phi tòng quân, ông đã liên tiếp lập nhiều chiến công, đánh đâu thắng đó. Tông Trạch hết sức tán thưởng, không ngừng đề bạt và giao phó trọng trách. Nhưng tiếc thay, khi chí lớn chưa thành mà Tông Trạch đã qua đời. Đỗ Sung lên thay, trở thành cấp trên của Nhạc Phi.

Trước đó, khi Tông Trạch giữ chức Đông Kinh lưu thủ, Nhạc Phi đã có thể thỏa sức mà thi triển tài năng, ông đã liên tiếp đánh bại quân Kim, lại còn có công đánh dẹp nhiều toán lưu khấu, đạo tặc ở địa phương.

Vào năm Kiến Viêm thứ ba, bọn giặc gồm Vương Thiện, Tào Thành, Khổng Ngạn Chu đã tụ tập binh lực lên đến 50 vạn, tiến quân áp sát đến Nam Huân môn. Khi ấy dưới trướng Nhạc Phi chỉ có 800 quân, nếu lấy 800 đối đầu với 50 vạn thì chênh lệch là vô cùng lớn.

Thế nhưng Nhạc Phi dũng mãnh phi thường, ông vẫn dẫn quân tiến đánh. Tống sử chép rằng Nhạc Phi tay trái kẹp cung, tay phải giương mâu, ngang nhiên xông thẳng vào trận địch, trực tiếp đánh tan đội ngũ đối phương.

800 quân đánh bại 50 vạn người là một điều không tưởng. Thế nhưng trên thực tế, quân của Nhạc Phi là tinh binh hùng tướng, dũng mãnh phi thường, còn 50 vạn quân kia chỉ là tập hợp tàn binh giặc cỏ. Khi cánh quân phí trước bị đánh tan thì rất nhiều binh lính phía sau cũng hoảng sợ mà chạy.

Mặc dù vậy, chúng ta phải công nhận sự dũng mãnh của Nhạc Phi. Lối đánh xung kích của ông có phần giống với Tần vương Lý Thế Dân, lại cũng có nét mạnh mẽ như Tây Sở bá vương Hạng Vũ. Mặc cho phía trước có bao nhiêu quân địch, thì vẫn dám thẳng tiến mà không chút do dự.

Sau khi Tông Trạch qua đời, Đỗ Sung liền muốn bỏ Đông Kinh Biện Lương, chạy xuống Kiến Khang, tức Nam Kinh ngày nay. Nhạc Phi vội can gián rằng: “Đất Trung Nguyên dù chỉ một tấc cũng không thể bỏ. Nay chỉ cần lùi một bước thì nơi này sẽ không còn thuộc về ta nữa. Ngày sau nếu muốn thu phục lại, e rằng không có mấy chục vạn binh lực thì không thể làm được.”

Thế nhưng Đỗ Sung nhất quyết không nghe. Nhạc Phi bất đắc dĩ, đành phải theo Đỗ Sung rút về phía nam. Trên đường hành quân, Nhạc Phi lại lập công đánh bại các toán giặc của Trương Dụng, Lý Thành, rồi mới đến Kiến Khang. Sau đó, Đường Cao Tông bổ nhiệm Đỗ Sung làm chức Kiến Khang lưu thủ.

Sau đó, quân Kim tiến đánh, chúng vượt qua sông Trường Giang mà hướng xuống phía nam, phối hợp với Lý Thành và cùng đánh vào Ô Giang. Đỗ Sung vô cùng sợ hãi, ra lệnh đóng chặt cửa thành, không dám xuất chiến. Nhạc Phi rơi lệ xin được ra đánh, nhưng vẫn không được chấp thuận. Sau đó Đỗ Sung vội bỏ Kiến Khang mà chạy, khiến phòng tuyến Trường Giang thất thủ.

Nhạc Phi theo Đỗ Sung rút quân về phía nam, nhưng quân của Đỗ Sung có kỷ luật hết sức bại hoại, mang danh là quân triều đình thế mà đi đến đâu cũng cướp bóc. Còn cánh quân của Nhạc Phi thì luôn giữ kỷ luật nghiêm minh. Tướng sĩ dưới trướng Nhạc phi thì “dù chết đói cũng không cướp bóc, dù chết rét không phá nhà”. Dù rằng họ lâm vào cảnh thiếu thốn, cũng tuyệt đối không xâm hại người dân.

Có lần hành quân đến một nơi gọi là Chung thôn, trong quân không còn lương thực, binh sĩ đều đói bụng đến mệt lả. Dân chúng đem lương thực ra tiếp tế, nhưng quân của Nhạc Phi vẫn không nhận, kỷ luật vô cùng nghiêm chỉnh. Từ đó, khi rất nhiều người Hán bị quân Kim uy hiếp, bức hại, họ đều lần lượt tìm đến và quy phục dưới trướng của Nhạc Phi.

Thời nhà Tống có một nơi gọi là Quảng Đức quân, đây là một đơn vị hành chính ngang với châu, nay thuộc địa phận huyện Quảng Đức, tỉnh An Huy. Tại nơi đây, Nhạc Phi từng giao chiến với quân của Kim Ngột Truật, bắt được một người tên là Vương Quyền, cùng hơn bốn mươi thủ lĩnh của “thiêm quân”.

Thiêm quân là gì? Thực ra dân số của người Nữ Chân là rất ít, thời xưa có câu “Nữ Chân bất mãn vạn, mãn vạn bất khả địch”, ý nói rằng dân số tuy ít nhưng khi đã hội tụ đủ lực lượng thì sẽ rất hùng mạnh. Dân số người Nữ Chân là kém xa so với nhà Tống. vì vậy khi nước Kim tiến đánh nước Liêu, đánh Bắc Tống, họ thường phải tổ chức trưng binh, tức là tuyển mộ rất nhiều người Hán để làm binh lính, nhóm binh sĩ này được gọi là “thiêm quân”.

Sau khi Nhạc Phi giao chiến với quân của Kim Ngột Truật, ông bắt được Vương Quyền cùng hơn bốn mươi thủ lĩnh thiêm quân, Nhạc Phi lấy đại nghĩa dân tộc mà khuyên giải. Những ai có thể dùng được, Nhạc Phi đều lấy ân nghĩa mà kết giao, rồi sai họ quay trở lại doanh trại quân Kim để làm nội ứng. Ban đêm, những nội ứng này ở trong doanh trại quân Kim mà phóng hỏa khắp nơi. Nhạc Phi nhân cơ hội này để xuất binh đánh úp, đại phá quân địch, giành được thắng lợi.

Khi Kim Ngột Truật rút quân về phía bắc, Nhạc Phi đã bố trí phục binh tại một nơi gọi là Ngưu Đầu sơn. Đây cũng là địa danh nổi tiếng trong tiểu thuyết Nhạc Phi truyện. Nhạc Phi chọn ra hơn trăm người, cho mặc quân phục của người Kim rồi trà trộn vào doanh trại địch, ban đêm thì quấy nhiễu bốn phía, khiến quân Kim đại loạn. Nhờ đó, Nhạc Phi thu phục lại Kiến Khang, chính là nơi mà trước kia Đỗ Sung đã bỏ chạy và làm mất.

Lúc bấy giờ, Bắc Tống có ba kẻ địch lớn: một là nước Kim ở phương bắc, hai là triều đình Ngụy Tề do người Kim dựng lên, quân vương là Lưu Dự; ngoài ra ở vùng Giang Nam, bọn giặc cỏ nổi lên khắp nơi để cướp bóc, phá hoại.

Trong giai đoạn này chiến sự dày đặc, đầu mối rối ren. Trước năm Kiến Viêm thứ tư (tức năm 1130), chiến tranh chủ yếu là các cuộc lược do Kim Ngột Truật chỉ huy. Về sau, chiến sự chủ yếu của Nam Tống chuyển sang bình định giặc cướp ở Giang Nam. Trong quá trình bình định giặc cướp, Nhạc Phi cũng lập được rất nhiều chiến công.

Đương thời, những thế lực đạo tặc lớn bị Nhạc Phi dẹp yên gồm có Lý Thành, Trương Dụng, Tào Thành và Dương Ma.  Năm Thiệu Hưng nguyên niên (tức năm 1131), Trương Tuấn đã thỉnh Nhạc Phi đi chinh phạt cuộc nổi loạn của Lý Thành. Khi ấy, Lý Thành chiếm cứ vùng Giang Tây, bày chiến tuyến dài đến 15 dặm. Thế nhưng Nhạc Phi chỉ tuyển chọn hai trăm binh lính đi theo, trên cờ chỉ có một chữ “Nhạc”.

Bọn đạo tặc thấy Nhạc Phi quân ít thì ồ ạt truy kích, không ngờ chúng bị Nhạc Phi dẫn vào vòng mai phục đã bố trí sẵn. Thế là bị đánh cho tan vỡ mà chạy, Nhạc Phi lớn tiếng hô vang: “ai không muốn theo giặc thì cứ ngồi xuống tại chỗ, ta sẽ không giết”. Chỉ với một câu nói ấy, hơn 8 vạn người ngồi xuống mà đầu hàng, uy thế của Nhạc Phi quả thật đã đạt đến mức “không đánh mà khuất phục quân địch”.

Trong Nhạc Phi truyện kể rằng, vào năm Kiến Viêm thứ tư, có một nhóm đạo tặc hoành hành cướp phá, trong đó có kẻ tên là Trương Uy Vũ đã không chịu quy hàng. Nhạc Phi một mình cưỡi ngựa xông thẳng vào doanh trại của đạo tặc, một đao chém rơi đầu Trương Uy Vũ. Những kẻ đứng quanh thấy vậy đều lập tức phủ phục xuống đất để xin tha mạng. Về sau, những người ấy còn vẽ chân dung Nhạc Phi, lập trong từ đường mà thờ phụng. Bởi lẽ Nhạc Phi chẳng phải là người thường, mà như là một chiến thần giáng thế.