图海看到顺治对于北闱的“判例”，接下来发生的江南闱科场案，他以为也是按照北闱的规矩来。就上了一份奏折，表示，主考官斩首，其他人员革职。
结果这一次，顺治一反常态，他说“若不重加惩治，何以警戒将来！”于是大开杀戒。
而图海本人，更是莫名其妙地被顺治本人定性为“包庇罪犯”，受到了革职留用的惩罚
后来发生的一件事情，更是让图海同志直接滚蛋了。
事情是这样的，二等侍卫阿拉那与公额尔克戴青家奴陈保发生了斗殴事件，事后，陈保控告阿拉那抽刀想砍人。刑部就按照正常程序，处理了阿拉那。
顺治一下子就发飙了，图海平时得理不让人，早就让好强争胜的顺治老大不悦，憋了一肚子气。这次处罚二等侍卫阿拉那更冒犯了他的尊严，顺治把图海直接打发给议政王大臣会议，让他们给图海定罪。
议政王那群人老油条，自然按照顺治的意思，给图海定了个“负恩溺职，应论绞”的罪名。顺治出了口气之后非常爽，他做了个高姿态，“图海情罪重大，本当依议正法，但念其任用有年，姑免死，革职，家产籍没”。
就这样，在十五位大学士中已名列第三的图海，陡然间丢官抄家，一落千丈了。
就这样过了两年，按照顺治的性格，要让顺治改变自己所说的话，基本上是不太可能的了。所以图海在顺治有生之年，想东山再起，难度很大。更何况，狗改不了吃屎，要指望图海以后不顶撞自己，那是不太现实的。
不过顺治倒是没有忘了图海，就在顺治快挂的时候，他留了遗言：“图海情罪冤屈欲改未及，遇有满洲都统缺补用。”
正是这次旨意，改变了图海同志的一生。如果没有这次转折，图海同志在历史上虽然不能算是路人甲乙丙丁，但是也不是一个什么大不了的人。
图海开始了他的军旅生涯。
不过图海军事生涯的起点，并不值得赞扬。在图海开始打仗的时候，南明政权、大西、大顺农民军以及各地各阶层的抗清斗争势力，几乎全部被镇压下去。就只剩下夔东十三家，作为副统帅的图海，采取长期围困、绝其粮道的策略，成功剿灭了李来亨。
图海算是从李来亨的尸体上爬起来的。当然我们也不能因此否定图海，所谓两军交战各位其主。
班师回朝的图海因此得到了升官的机会，再一次平步青云。由于图海文武双全，这在满洲人里面并不多见，因此又得到了康熙的重用。
康熙九年（1670年），被封为大学士兼礼部尚书，在大学士里面排名第二（仅次于在除鳌拜的过程中立下大功的索额图）。
虽然图海再一次当上了大官，不过这哥们的性格一点也没有改变。他还是那个坚持自己意见的图海。
因此，在撤藩辩论会上，他强烈反对康熙撤藩，因此康熙对他很不高兴。
老板不高兴，自然图海的日子也好过不到哪里去。
只能说虽然在官场上混了一辈子，但是图海还是没有学会如何当官。不过要说图海确实是个实在人，虽然老板不待见自己，让自己搞幕后工作，别人出风头，自己只能背黑锅，不过图海同志还是兢兢业业地做好自己分内的事情。甚至还顺便平定了一次叛乱当然这个不是吴三桂而是发生在京城的一起叛乱。