Năm Thiệu Hưng thứ 10 dưới thời Tống Cao Tông, tức năm 1140, Kim Ngột Truật vứt bỏ hòa ước, huy động đại quân ồ ạt tiến xuống phía nam. Tháng 5, quân Kim đại bại ở Thuận Xương. Đến tháng 7, lại thảm bại ở Yển Thành. Lúc bấy giờ, thế cục đã trở nên vô cùng có lợi cho Nam Tống. Các lực lượng kháng chiến ở vùng Lưỡng Hà lần lượt dựng lên cờ hiệu Nhạc Gia quân, cùng nhau nổi dậy chống Kim. Kim Ngột Truật thậm chí đã chuẩn bị từ bỏ toàn bộ lãnh thổ phía nam Yên Kinh.

Mắt thấy cương thổ của Bắc Tống sắp được khôi phục, đại nghiệp đã gần trong gang tấc, vậy mà Tống Cao Tông liên tiếp ban xuống mười hai đạo kim bài, yêu cầu Nhạc Phi rút quân về triều.

Khi Nhạc Phi tiến quân đến Chu Tiên Trấn, khoảng cách tới Khai Phong chỉ còn 40 dặm. Đối với Nam Tống thì đây quả thực là một thời cơ nghìn năm khó gặp để thu phục cố thổ. Thế nhưng, việc Nam Tống bỏ lỡ thời cơ cũng không phải chỉ là một lần này. Bởi vì năm xưa khi Nhạc Phi thu phục Tương Dương, Đặng Châu, đó đã là một lần bỏ lỡ cơ hội. Sau khi Lưu Dự bị phế truất, lại là một lần bỏ lỡ thời cơ. Đến lần này thì đã là lần thứ ba.

Đối với Nhạc Phi mà nói, nếu tiếp tục tiến quân, thì chẳng khác nào là xem nhẹ chiếu mệnh, coi thường thiên tử. Trong bối cảnh thời ấy, hành động như vậy gần như bị xem là mưu phản. Nếu triều đình lại phái quân đến đánh Nhạc Phi thì cục diện sẽ càng thêm rối loạn, khó bề thu dọn. Nhưng nếu rút quân, biết đâu tương lai vẫn sẽ còn cơ hội. Cuộc chiến năm Thiệu Hưng thứ 10, kỳ thực chính là do Kim Ngột Truật xé bỏ hòa nghị mà tạo ra thời cơ ấy. Vậy thì sau khi rút binh, biết đâu Kim Ngột Truật lại một lần nữa tự tay tạo ra một cơ hội tương tự.

Tình hình thực tế quả nhiên cũng diễn ra như vậy.

Sang năm thứ 2 sau khi Nhạc Phi rút quân, tức là năm Thiệu Hưng thứ 11, năm 1141, Kim Ngột Truật lại một lần nữa dẫn quân tiến xuống phía nam, tiến đánh Nam Tống. Quân Kim nhanh chóng vượt Hoài Hà, đánh thẳng vào địa giới Hợp Phì. Kim Ngột Truật nhận thấy vùng Thác Cao có địa thế bằng phẳng, rất thích hợp cho kỵ binh tung hoành, nên đã ra lệnh đóng quân tại đây, tức là vùng tây bắc huyện Sào ngày nay.

Nhận được tin cấp bao, triều đình Nam Tống nhanh chóng ra lệnh công. Các tướng cầm quân gồm có Nhạc Phi, Hàn Thế Trung, Lưu Kỹ, Dương Nghi Trung. Lần này, quân Tống đã chiến đấu vô cùng xuất sắc: chỉ tổn thất 900 người, mà chém được hơn vạn quân Kim.

Nhạc Phi kiến nghị với Tống Cao Tông rằng: “Kẻ địch dốc cả nước mà đến, thì vùng Khai Phong, Lạc Dương tất sẽ trống rỗng. Nếu ta đánh vào những nơi ấy, Ngột Truật nhất định phải quay về cứu viện. Khi quân địch đang vận động, ta thừa cơ phát động công kích, lấy quân nhàn chờ quân mệt, tất sẽ có thể đại thắng.” 

Lúc bấy giờ, Nhạc Phi đang mắc phong hàn, ho khan không dứt. Tống Cao Tông bèn xuống lời an ủi, khích lệ rằng: “Khanh khổ vì bệnh hàn, vậy mà vẫn vì trẫm xuất chinh, vì nước mà quên thân, còn ai được như khanh!?”

Khi đại quân của Nhạc Phi tiến đến Lư Châu, quân Kim nghe mới nghe danh mà đã kinh hồn, lập tức bỏ chạy. Sau đó Nhạc Phi rút quân về phía nam đến Thư Châu, nay là Thư Thành, An Huy, để chờ quyết định của triều đình. Tống Cao Tông lại viết thư để biểu dương Nhạc Phi, khen ông hành sự cẩn trọng, cung kính, không tự ý tiến lui, như vậy là rất hợp lễ độ.

Tuy rằng Nhạc Phi đã giành được thắng lợi, nhưng khi Kim Ngột Truật vẫn công phá Hào Châu, tức là vùng Phượng Dương, An Huy. Thế mà Hoại Trương Tuấn đang đóng quân ở Hoàng Liên Trấn lại không dám nghênh chiến. Dương Nghi Trung cũng rơi vào mai phục và bị đánh bại. Tống Cao Tông bèn lệnh cho Nhạc Phi dẫn quân đi cứu viện. Người Kim vừa nghe tin Nhạc Phi đến thì  lập tức bỏ chạy.

Trong lúc Kim Ngột Truật hai lần tiến công xuống phía nam, thì ở vùng Thiểm Tây cũng bùng nổ ra những trận chiến vô cùng ác liệt. Vốn dĩ toàn bộ đất Thiểm Tây đã được nước Kim giao cho chính quyền Ngụy Tề của Lưu Dự. Nhưng sau khi Lưu Dự bị phế truất, vùng Quan Trung trở nên trống trải, quân Tống gần như đã đã chiếm lại toàn bộ Thiểm Tây.

Đến năm Thiệu Hưng thứ 10, Tây lộ quân của nước Kim do Hoàn Nhan Tát Ly Hát thống lĩnh, ồ ạt tiến đánh vào Thiểm Tây. Trước đó một năm, Ngô Giới lâm bệnh qua đời, binh mã các lộ Thiểm Tây được giao cho em trai ông là Ngô Lân. Sau một năm khổ chiến, Ngô Lân đã đại phá quân của Tát Ly Hát.

Những thất bại trên cả hai mặt trận đông và tây đã khiến Kim Ngột Truật nhận ra rằng: muốn tiêu diệt Nam Tống là điều không thể, lập một chính quyền bù nhìn cũng không đáng tin cậy. Vì vậy, Kim Ngột Truật dần chuyển từ chủ chiến sang chủ hòa. Điều này vừa đúng với tâm ý của Tống Cao Tông. Lại thêm Tần Cối từ lâu vẫn luôn thuận theo chỗ xấu trong lòng quân vương, a dua với ý muốn cầu hòa của hoàng đế, thế là hai bên bắt đầu một lần nữa bàn chuyện nghị hòa.

Khi ấy, Tần Cối lo sợ các tướng lĩnh thuộc phái chủ chiến sẽ phản đối, bèn bí mật dâng tấu lên Tống Cao Tông, đề nghị lấy danh nghĩa luận công ban thưởng để gọi ba đại tướng về Lâm An, gồm có Nhạc Phi, Hàn Thế Trung và Hoại Trương Tuấn. Sau đó, triều đình phong Hàn Thế Trung và Hoại Trương Tuấn làm Xu mật sứ, phong Nhạc Phi làm Xu mật phó sứ.

Chúng ta biết rằng dưới hai triều Tống, chức Xu mật sứ và Xu mật phó sứ mặc dù là chức cao, nhưng cũng chỉ là được phép tham dự quân cơ, bàn bạc việc binh, chứ không thực sự trực tiếp nắm giữ quân đội. Vì vậy, cách sắp đặt này trên thực tế chẳng khác nào tước đoạt binh quyền của Nhạc Phi và Hàn Thế Trung.

Sau đó, Tống Cao Tông hạ chiếu, lệnh cho Hàn Thế Trung đóng giữ Trấn Giang, còn Nhạc Phi và Hoại Trương Tuấn đóng giữ Sở Châu, tức là Hoài An, Giang Tô ngày nay.

Trong số các tướng lĩnh Nam Tống, công lao của Nhạc Phi là lớn nhất, nhưng tuổi đời lại là trẻ nhất. Khi Nhạc Phi phong hầu, ban đầu Hàn Thế Trung và Hoại Trương Tuấn đều khó lòng chấp nhận. Thế nhưng Nhạc Phi đối đãi với họ một cách hết sức khiêm nhường, không hề tỏ ra kiêu ngạo vì công lao của mình.

Trước đó, vào năm 1136, khi Ngụy Tề tấn công Hoài Tây, vùng đất ấy vốn thuộc phạm vi quản hạt của Hoại Trương Tuấn. Nhưng ông ta lại không dám nghênh chiến, vì vậy cũng không lập được công lao gì. Trong khi đó, Nhạc Phi vừa nhận được mệnh lệnh thì lập tức xuất binh, giải vây cho Lư Châu. Tống Cao Tông phong Nhạc Phi làm Tiết độ sứ hai trấn Trấn Ninh và Sùng Tín quân. Việc này khiến Hoại Trương Tuấn vô cùng mất mặt.

Đến khi Nhạc Phi bình định cuộc nổi loạn của Dương Ma, ông thu được chiến lợi phẩm là những thuyền chiến lớn có lầu cao. Nhạc Phi đã tặng cho Hàn Thế Trung và Hoại Trương Tuấn mỗi người một chiếc thuyền lớn. Trên thuyền có các loại trang bị quân sự đều rất tiên tiến và đầy đủ. Hàn Thế Trung thấy vậy thì vô cùng vui mừng. Nhưng Hoại Trương Tuấn chẳng những không cảm kích, trái lại còn càng thêm đố kỵ với Nhạc Phi.

Hoại Trương Tuấn biết Hàn Thế Trung theo phái chủ chiến, vì vậy đã chọc giận Tần Cối. Thế là ông ta bàn với Nhạc Phi, muốn chia tách đội quân tinh nhuệ nhất của Hàn Thế Trung là tức Bối Ngôi quân. Đương nhiên Nhạc Phi không đồng ý. Nói cách khác, Hoại Trương Tuấn muốn kéo Nhạc Phi theo mình làm chuyện xấu, nhưng đã bị Nhạc Phi thẳng thừng cự tuyệt. Hoại Trương Tuấn vừa hổ thẹn, vừa phẫn nộ.

Đến năm Thiệu Hưng thứ 11, Tống Cao Tông lệnh cho Nhạc Phi và Hoại Trương Tuấn đến Sở Châu để phòng thủ. Hoại Trương Tuấn đến nơi thì liền chuẩn bị tu sửa thành lũy, muốn dốc sức gia cố tường thành để cố thủ. Nhưng Nhạc Phi nói: “Chúng ta ra tiền tuyến, lẽ ra phải nghĩ cách tiến công để thu phục cố thổ. Sao có thể đem toàn bộ tâm lực đặt vào việc phòng thủ!?”

Nghe lời ấy, sắc mặt Hoại Trương Tuấn lập tức trở nên vô cùng khó coi. Về sau, Hoại Trương Tuấn đã dùng chuyện này để hãm hại Nhạc Phi. Ông ta tâu rằng Nhạc Phi không muốn dồn sức phòng thủ là vì có ý định bỏ Sở Châu.

Ban đầu, người mà Tần Cối muốn hãm hại là Hàn Thế Trung. Nhưng Nhạc Phi đã phát giác ra âm mưu ấy, liền vội báo cho Hàn Thế Trung biết. Hàn Thế Trung lập tức ra tay trước để chiếm thế chủ động. Trước khi Tần Cối kịp giăng bẫy hãm hại, Hàn Thế Trung nhanh chóng vào gặp hoàng đế, đem mọi vấn đề trình bày rõ ràng từ đầu đến cuối. Vì vậy, kế hoạch vu hãm của Tần Cối đã không thể thực hiện được. Hoại Trương Tuấn liền nói với Tần Cối rằng tất cả đều là do Nhạc Phi đứng giữa phá rối. Tần Cối biết được thì vô cùng tức giận.

Đúng vào lúc ấy, Kim Ngột Truật viết một bức thư gửi cho Tần Cối, nói rằng: “Ngươi muốn cùng chúng ta ký hòa nghị, thế nhưng Nhạc Phi vẫn muốn thu phục Hà Bắc. Nhất định phải giết Nhạc Phi thì hòa nghị mới có thể bàn bạc”. Tần Cối cũng hiểu rất rõ: nếu Nhạc Phi không chết, thì sẽ mãi là người ngăn trở con đường nghị hòa. Vì vậy, Tần Cối bắt đầu bày mưu lập kế, để hãm hại Nhạc Phi.

Tần Cối biết Gián nghị đại phu Vạn Sĩ Tiết có lòng oán hận Nhạc Phi, bèn sai ông ta đứng ra hạch tội Nhạc Phi. Nội dung đại khái là: vào mùa xuân năm Thiệu Hưng thứ 11, khi Kim Ngột Truật tiến công Hoài Tây, Nhạc Phi đã dừng lại ở Thư Thành, chần chừ mà không chịu tiến quân.

Nhưng như chúng ta vừa nói ở trên, vào thời điểm ấy, Nhạc Phi thực ra đã đánh tan quân Kim. Chỉ là vì ông chưa nhận được chiếu thư của Tống Cao Tông, nên không tự ý tiến binh. Tống Cao Tông thậm chí còn đặc biệt vì chuyện này mà biểu dương Nhạc Phi, khen rằng ông “cẩn trọng cung kính, không tự tiện quyết định tiến lui, rất hợp lễ độ”. 

Ngay sau đó, Hoại Trương Tuấn cũng bới móc dựng chuyện. Ông ta vu cáo rằng Nhạc Phi muốn từ bỏ Sở Châu, không chịu lo việc phòng thủ.