隻可惜，當時的欽宗皇帝，亦是多疑善忌之輩，明明已經強敵壓境之下，心思卻還是放在如何跟他的父親，當時已然退居太上皇的徽宗道君皇帝爭權之上，對於李綱這等前朝臣子，猜忌頗多，女真兵馬尚未及退盡，他便下旨罷黜李綱之職，自毀擎天之柱，終至汴京被破，自己也被女真人俘虜北去，飲盡了自身釀下的這杯苦酒。
趙構南渡，在建康即皇帝位之後，為收天下人望，亦重新起複李綱為第一任首相，然則李綱那銳意恢複、待機而戰的心思，卻終究與隻圖保得眼前這場富貴的他格格不入，是以李綱拜相不過數月光景，便旋即罷去，自此一代名臣，鬱鬱而終。
而李綱拜相之後，所發布的第一道政令，便是修建這座節烈賢良祠，祠中奉祀的人物不取前朝開疆拓土之名臣勇將，卻都是取的在對女真抗戰之時，義勇不屈之人。
當時亦頗有人對此表示難以理解，畢竟當時宋室宗廟神器，被迫南遷，淒惶如喪家之犬，江南之地，雖然風物繁華，然則終究是邊陲之地，可謂百廢待興，李綱相公原本便自聲威赫赫，被任為第一任首相之後，更是被時人寄以厚望，大家都覺得他應當立即著手建立政綱，穩定國本，恢複經濟民生，方為允當，卻是沒料到其第一道政令卻是建祠立廟，縱然不被人覺得他急於樹立自己一身身後聲名，至少也是置軍國要事於不顧，卻是急於這等不急之務，不免令人失望。
甚至當時與李綱誌同道合的幾位好友亦曾就此事或諫或勸，然而李綱在這一點上，卻是非常之堅持，在他看來，大宋要站住陣腳，銳意恢複，經濟民生固是根本，政綱國本自要扶固，然則眼下最重要的東西，卻是務須先正人心，正士氣。
大宋最缺乏的東西，不是安穩的朝局，更不是財帛子女，而是那敢打敢拚的精神，是那哪怕被人砍掉了腦袋，在腦袋掉到地上之前，也還要咬上對手一口的那分血性。
當日的大宋又何嚐缺過人，缺過糧，缺過軍餉，然而女真人一路南下，勢如破竹，鎮守大宋千關萬隘的軍將，到得後來竟爾是紛紛在女真人未到之前就自聞風喪膽，棄關而逃，竟自將那中原門戶，洞開給女真強盜。
甚至就在兵臨城下的時候，朝中主張遷都避禍，主張屈辱求和的，都還不在於少數。
是時雖則女真人棄汴京不守，偽楚之張邦昌自去僭號，請旨歸附，汴京實則已重歸宋室版圖，然則當時的天子官家卻是已經被嚇破了膽，無論李綱再如何拚死勸諫，都隻是一意龜縮在臨安一帶，甚至不敢巡行建康，更遑論還都汴梁了。
既然大宋的天子官家是如此盤算，形若大宋已然自棄江北，江南風物，六朝金粉，民風物性原本便要比得江北豪傑來得奢靡柔弱，這一幹君臣又都是喜奢而厭苦之輩，在這江南的和風之中浸泡得久了，隻怕那被國破家亡稍激起來的一點血性，也就轉瞬間消融無痕了。