当时朝中一些投降主义和逃跑主义的想法甚嚣尘上，怀疑谢安之前的一切部署都是无用，最终会给大晋带来毁灭的想法甚为流行。那时候的谢安所受到的压力和煎熬可想而知。
淮南大战，面对数倍之敌，谢安泰然自若的外表之下，承受着难以想象的心理压力。那段时间，对于谢安而言不但要调度物资兵马，安抚上下人等，更是要有强大的信心来支撑。从身体层面和心理层面都是巨大的煎熬。
李徽记，也就是大战之后，便传来了谢安身子不好的消息。从那之后，时好时坏，怕是已经落下了病根。加之长期服用寒食散这等毒药，为了提振精神，对身体也有极大的损害。极有可能，谢安的病不仅仅是风寒侵袭，其实是肝脏受损。劳累和药物都会导致肝脏受损，这可能才是谢安真正的病因和死因。
“我昨日没有去谢府吊唁，便是不想见到朝廷里那帮表面一套背后一套的家伙的嘴脸。那帮人背地里攻讦污蔑，却又假装为谢安的去世而悲痛，令人作呕。谢公便是被他们逼着引退的，现在谢公去世了，他们却去灵前惺惺作态。背地里，这些人必然弹冠相庆。我大晋朝算是完了，谢公这样的人，他们都不知珍惜，大晋朝落到他们手里，还能有什么好？我大晋，必毁于他们手中。”张玄又是愤怒，又是哀叹，神情沮丧之极。
李徽安慰他道：“兄长，万万放宽心。彤云便是担心你如今情绪激烈，让我来劝劝你。若在京城不如意的话，何不去徐州一游。兄长，我徐州急需官员，以兄长之能，当可大展身手。不知兄长意下如何。”
张玄叹息道：“弘度，实不相瞒，我如今真的已经厌倦了官场。谢公引退之后，我便已经在盘算着辞官回吴兴了。我在吴兴也有根基，莫如过闲云野鹤一般的日子，倒也自在。”
李徽道：“莫说这样的话。谢公引退，乃是迫不已。加之谢公也年纪大了，情有可原。兄长才值盛年，怎可如此。就这么说定了，来徐州，或去北地为郡守，或在我徐州衙署为官，一家人也在一起，免互相挂念。对了，彤云生了一女，才满月不久，你还没见过吧，莫如和嫂夫人一起前往探视便是。”
