可是，就在众人都把韩侂胄当成恢复中原、实现南宋伟大复兴的救世主的时候，赵从善公开上表，反对韩侂胄北伐。
在赵从善看来，韩侂胄志大才疏，搞搞内斗还可以，可要想做一个率领千军万马的主帅，协调缠夹不清的各派利益，韩侂胄还不是那块料。何况，最为致命的，就是韩侂胄虽然主张北伐，可其志并不在北伐本身，而是借着北伐扩大影响，收揽权势，打击异己。
赵从善反对北伐的奏章一呈上，百官哗然。文武官员都也没有想到，一贯阿附韩侂胄的赵从善竟然会从背后捅韩侂胄一刀。韩侂胄大怒，其爪牙更是如狼似虎冲上前来，纷纷弹劾赵从善污蔑宰臣。很快，赵从善被韩侂胄撤职查办，关到狱中等待审判。韩侂胄决定，等到自己北伐胜利归来，再严惩赵从善，以表彰自己的功业。
可是，韩侂胄没有想到，出兵不到一年，就接连找到大败。南宋军中有不少将领勾结金人，在韩侂胄北伐时按兵不动，致使北伐军孤立无援。并且，当时的南宋朝廷，高宗孝宗时期的名将多已经故去，放眼朝堂，根本就没有能征惯战有胆有识的主将。辛弃疾也在自己的词作《京口北固亭怀古》中，忧心忡忡的写道“元嘉草草，封狼居胥，赢得仓皇北顾”，提醒韩侂胄一定要精心备战，切勿意气用事。可惜，韩侂胄并不在意。
金军击败宋军主力之后，乘势南侵，占领多个州县。南宋朝廷惊恐不安。在投降派官员史弥远的主导设计下，韩侂胄被乱棒打死，头颅被割下献给金人。
韩侂胄死后，新执政的宰臣们开始清洗韩侂胄一党。韩侂胄掌权十多年，朝野上下无数人出其门下。三品以上高官就有十多人受到牵连，或者砍头，或者抄家。可是宰臣们却一致认为，赵从善曾经公开反对韩侂胄，更因此被韩侂胄罢官下狱，当非韩侂胄一党。于是，赵从善不但被无罪释放，而且恢复待遇。之后，赵从善主动请求离开朝廷，到地方任职，躲避派系斗争。宰臣们大都觉得赵从善能够不贪慕名位，不计较得失，很有古大臣之风呢！
