问题是，自从被孙可望解除了兵权送到昆明养老，这哥们心灰意懒、日趋消极（当然从这件事情也能反应他相比孙可望李定国还是有差距的）。据史书记载，他废居昆明时“益循循，谨训子（刘震）读书为儒者风，欲入鸡足山学道”。
孙可望让他出任“大招讨”，他表示：不干。
以前吧，孙可望就巴不得刘文秀没兵权，现在刘文秀不干了，孙可望又死皮赖脸求着刘文秀领兵出征。
耐不住孙可望的软磨硬泡，刘文秀只能硬着头皮上。出征是出征了不过，也耽误了不少时间，等到刘文秀出征的时候，已经到了1655年春。
不过，虽然你让我干活，我怎么干活，你就管不着了吧。刘文秀一路磨磨蹭蹭，和郑成功支援李定国一样，唯恐走的太快。
张煌言等人1654年十二月到了南京，巴巴等了几个月，不见动静，扛不住，只能撤退，这个时候，刘文秀的水军还没起航。
也不知道咋回事，等到张煌言撤退了，刘文秀倒是积极了起来。
四月，刘文秀在湖南辰州（府治在沅陵）集结部队，计划先攻占常德，切断洞庭湖西面湖北、湖南的通道，然后收复长沙、衡阳、岳州，得手后再北攻武昌。
按照刘文秀的部署，明军进攻常德采取水陆并进的方针。他派卢明臣率领一支军队乘船由沅江前进，自己率军由陆路进发。
曾经有一份很好的机会放在你面前，你没有去珍惜，等到失去后才后悔莫及，人世间最痛苦地事情莫过于此！
刘文秀一定对这句话深有感触，因为刘文秀很快就会为他的挥霍机会付出代价。
打仗时机出现的时候，刘文秀没行动，现在老天的惩罚来了。
在洪承畴“以守为战”的策略下，洪承畴一直没有主动出击。
但是这个时候，当他发现各个抗清势力竟然妄图连成一片之后，他坐不住了。
他决定亲自率领部队，进入湖南，狙击刘文秀。
也该刘文秀倒霉，这个时候偏偏又下去了大雨，结果卢明臣一路顺流而下，很快到了常德。
而刘文秀的陆军道路泥泞，想跑也跑不快。
这样刘文秀两面夹击的计划就这样莫名其妙地破产了。结果先到的卢明臣到了常德城下，被清军伏击，又得不到陆军的支持，全军覆没，卢明臣中箭落水牺牲。
刘文秀水军挂了，卢明臣的阵亡又严重影响了士气，打不过，只能：撤！立刻带领军队退回贵州。
如果说上一次战败，还算是个意外，这次刘文秀的战败，明显就是人为，所以孙可望十分生气，刘文秀简直把自己的脸都丢尽了，孙可望再一次解除刘文秀的兵权，让他继续去昆明养老。