只要没有紧急繁忙的军政事务，曾国藩晚上往往喜欢与幕客聊天。同治六年六月二十日，即公历1867年7月21日晚，时任两江总督的曾国藩与赵烈文聊天时忧心忡忡地对赵说：“京中来人云：‘都门气象甚恶，明火执仗之案时出，而市肆乞丐成群，甚至妇女亦祼身无袴。’民穷财尽，恐有异变，奈何？”赵烈文回答说：“天下治安一统久矣，势必驯至分剖。然主威素重，风气未开，若非抽心一烂，则土崩瓦解之局不成。以烈度之，异日之祸必先根本颠仆，而后方州无主，人自为政，殆不出五十年矣。”就是说，现在“天下”统一已经很久了，势必会渐渐分裂，不过由于皇上一直很有权威，而且中央政府没有先烂掉，所以现在不会出现分崩离析的局面。但据他估计，今后的大祸是中央政府会先垮台，然后出现各自为政、割据分裂的局面；他进一步判断，大概不出五十年就会发生这种灾祸。听了赵烈文这番话，曾国藩立刻眉头紧锁，沉思半天才说：“然则当南迁乎？”显然，他不完全同意赵烈文的观点，认为清王朝并不会完全被推翻，有可能与中国历史上多次出现的政权南迁、南北分治、维持“半壁江山”的王朝一样。对此，赵烈文明确回答说：“恐遂陆沉，未必能效晋、宋也。”他的认为清政府已不可能像东晋、南宋那样南迁偏安一隅，恐将彻底灭亡。曾国藩反驳说：“本朝君德正，或不至此。”赵烈文立即回答道：“君德正矣，而国势之隆，食报已不为不厚。国初创业太易，诛戮太重，所以有天下者太巧。天道难知，善恶不相掩，后君之德泽，未足恃也。”赵的谈话确实非常坦率，他实际上否定了清王朝“得天下”的道德合法性。清军因明亡于李闯、吴三桂因红颜一怒大开城门而入关，所以“创业太易”；入关后为镇慑人数远远多于自己的汉人而大开杀戒，如“扬州十日”、“嘉定三屠”，所以“诛戮太重，这两点决定了清王朝统治缺乏“合法性”。而清王朝后来的君王――可能他心中所指为康、乾、嘉――的“君德”故然十分纯正，但善与恶并不互相掩盖弥补，何况“天道”已给他们带来了文治武功的“盛世”作为十分丰厚的报答，因此这些后来君主们的“德泽”并不能抵消清王朝“开国”时的无道，仍不足补偿其统治的合法性匮缺。对赵从清王朝得天下的偶然性和残暴性这两点否定其统治的合法性的这番言论，曾国藩并未反驳，沉默很久后才颇为无奈地说：“吾日夜望死，忧见宗祏之陨。”“祏”是宗庙中藏神主的石屋，“宗祏之陨”即指王朝覆灭，曾国藩也预感到清王朝正面临灭顶之灾。

当然，在一段时间内，曾对此问题看法仍十分复杂矛盾。虽然有时承认现在“朝无君子，人事偾乱，恐非能久之道”，但有时又对清王朝仍抱某种希望，认为现在当朝的恭亲王奕訢为人聪颖、慈禧遇事“威断”，所以有可能避免“抽心一烂”、“根本颠仆”的结局。而赵烈文则坚持己见，认为奕訢“聪明信有之，亦小智耳”，慈禧“威断”反将使她更易受蒙蔽。要想挽救颓局，像现在这样“奄奄不改，欲以措施一二之偶当默运天心，未必其然也”。“默运天心”颇有些神秘主义色彩，但在此更可将其理解成为一种“天道”、某种“历史规律”，现在局面如此不堪，如无体制的根本性变革仅靠现在这样头痛医头、脚痛医脚的修修补补，实则无济于事，而奕訢、慈禧均非能对体制作出重大改革之人，所以清王朝难免分崩离析的命运。赵烈文端的是富有洞见，不仅对历史大势看得透彻，而且作为一个远离权力中心、根本无法近观奕訢、慈禧的“幕客”，对此二人的判断却准确异常，为以后的历史所证明。奕訢确是朝廷中少有的开明权贵，近代初期的一些革新措施大都与他有关，因此当时有视野开阔、思想开明之誉，但1898年清王朝救亡图存最的机会的维新运动兴起时，他却坚决反对，证明赵在1867年对他作的仅“小智耳”的论断不虚。慈禧、乃至大清王朝以后不断为其“威断”所蔽所误已为众所周知，无须再赘。赵的眼光，确实老辣。

不过，曾对赵的论断仍无法或不愿完全相信，总感到清王朝总还有一线生机，尤其是当不久朝廷下谕依总理衙门奏请令督、抚、将军对外交问题开诚布公畅所欲言时，曾国藩兴奋异常，认为这是当政者将振衰起弊之兆，清王朝振兴有望，最起码可以像东晋、南宋那样长期偏安。

同治七年七月下旬（1868年9月中），曾国藩被任命为直隶总督。由于直隶管辖京城四周，曾国藩终于有机会第一次见到慈禧太后、同治帝、恭亲王奕訢及文祥、宝鋆等高官，在几天之内四次受到慈禧太后的召见。对此，他当然备感荣耀，直隶总督之职位不仅使他能近距离观察清王朝的“最高层”领导，而且使他能对全国的形势有更多了解，这时他才知道国家的颓败远远超过自己原来的预料，而朝中根本没有可以力挽狂澜之人。同治八年五月二十八日（1869年7月7日）晚上，他对刚刚来到保定直隶总督府的赵烈文坦承自己对时局、朝政的失望，对慈禧太后、慈安太后、奕訢、文祥、宝鋆、倭仁这些清王朝最高统治者们的人品、见识、能力、优点与弱点逐一分析点评了一番，分析点评的结果是他们皆非能担当王朝中兴重任之人。他们尚且如此，其余的人更加庸碌无为，曾国藩不禁哀叹清王朝的未来“甚可忧耳”。这种局面，正是一个衰朽政权用人制度“逆淘汰”的结果，但反过来，这种“逆淘汰”又会加速这个政权的衰败。最终，他不得不同意赵烈文两年前的论断，清王朝已经病入膏肓，难以救药。

历史惊人准确地应验了赵烈文的预言，清王朝终于在1911年土崩瓦解，距1867年预言它不出五十年就彻底垮台正好四十又四年；而且，接踵而来的也是赵所预言的长期“方州无主，人自为政”、即军阀割据的混乱局面。当然，曾、赵已分别于1872和1894年去世、并未看到自己的预言、预感“成真”，对他们来说，这或许倒是一种安慰。因为虽然预料到清王朝行将就木，他们也只能做大清王朝的孤臣孽子，难有他选。