淳祐五年（1245年）正月三日，刘汉弼卒，皇上哀痛，百官惊愕。二月朔旦，丞相杜范，自天台来朝扶病治事，四月二十日，亦以薨闻。五月二十九日，起居舍人徐元杰无疾暴亡。
杜范、徐元杰、刘汉弼被称为“淳祐三贤”，三贤先后辞世，太过骇人听闻，引出种种议论，在廷诸臣无不人人危惧！甚至到了阁堂会食，无人再敢下箸。
究竟是什么人下此毒手？就在这时史璟卿也暴病而亡，史璟卿是史嵩之之弟史时之的儿子，他自小颖悟能文，当时才十八岁，曾写信劝谏史嵩之辞去相位。有了这样一件事，大家都怀疑到了史嵩之的头上，皆说是史嵩之的下手。
有传言说史嵩之曾差人去摸透杜范的习惯，史嵩之去相，而取代他的就是杜范，史嵩之再也不能容忍，他得知杜范平素嗜书如命，便用毒药涂在书简上，叫人献给杜范，杜范旦夕翻阅此书，毒气蒸目，就失明死亡。
还有史嵩之派人下毒，用鞑靼人送给他的毒药，先后毒死了刘汉弼、徐元杰和史璟卿，说得有板有眼。
官府派人查探，找来找去都查不出问题，不了了之。
即便如此，大家都一口咬定是史嵩之下的毒手，史嵩之浑身是嘴也讲不清楚，无论如何也脱不了关系。
史嵩之这么做，就坏了政坛上的规矩，世人唾之，官家不敢用之。
最终，史嵩之在万般无奈，很不得意的情况下，回到了鄞州东钱湖的东吴老家。
史嵩之在东吴建设了府第，曰少帅府，并在附近建云树壁、钓鱼台、三溪桥，一直闲居在此。
期间理宗曾三次想恢复史嵩之的职务，一次是淳祐六年他服丧期满，一次是淳祐十年，郑清之将不久于人世，另一次是宝祐四年，史嵩之表示晚岁愿守蜀，但每次都因遭遇强烈的反对而不成，致使史嵩之被闲废，终不得复出。
当时史嵩之为公论所不容，这是事实。
……
史嵩之倒台了，朝臣们绝不允许史嵩之卷土重来，有心无心，便开始对史嵩之进行清洗老底的活动。
史党树倒猢狲散，罢官的被罢官，调任的调任，能够把他们给弄下台的就弄下台，弄不下台的就放闲职，不会让他们快活。
天下苦史氏久矣，就让你们也尝尝滋味！
史党中的两孟如何处置，朝臣们觉得棘手。
孟珙早已功成名就，成为了一株参天大树，且身处京湖前线，轻易触动不得。
可以冷落他、闲置他，但只要他不造反，连他的官位都不能削掉。
至于孟之祥，他在史嵩之失势前就任四川安抚制置副使，成为了高官大员，这是关键的一步！
如果他没有这个位置，那么朝臣可以把他给按在地方任上，让他不得轻易上位！有一万个理由不让他出头！
高官与地方任上看似相差不远，实际上地位高低如泾渭分明。
他在地方任上，别人或可将他搓揉差使，现在就不行了，他有这个位置，就得有这个位置的待遇和体面！
比如给他增加兵权，晋升为顺庆府诸军都统制（以前他是顺庆府都统制），与四川安抚制置副使是恰可的，根本拿不出阻止的理由。
且孟之祥的低调做事，闷头发财的品性对他有利，他的上级余玠不同意搞他，他打得动鞑靼人，搞掉孟之祥，余玠岂不是给自己找不自在吗？
不仅如此，孟珙就在京湖，余玠还指望着万一四川顶不住时，孟珙出兵救他。
若搞了孟珙的侄子，余玠好意思向孟珙求援？
在四川，孟之祥有余玠撑着他，在朝中，则由于他打点周到，官员们实在不好搞他。