胜海舟当然不会听朱永安的建议，他想亲自见到德川家茂，与德川家茂继续商讨幕府海军的建设事宜。

在朱永安没看到的地方，胜海舟与西乡隆盛见面，二人就神户港开港一事进行讨论。

西乡隆盛被胜海舟的见识所折服，就在胜海舟告辞离去时，西乡隆盛突然问道：“胜大人，如果我没记错，之前我在南明驻地见过你一面，只是你当时跟随虎亲王，我没有和你谈话。你现在住在南明驻地，意欲何为？”

尽管不明白西乡隆盛的意思，胜海舟仍旧给出答案：“时局不利于俺，所以前往南明驻地寻求庇护。”

出乎所有人的意料，弹劾胜海舟的人越来越多，德川家茂毫无办法，为了堵住悠悠众口，干脆给予胜海舟“闭门思过”处分，强制要求胜海舟回到江户在家中蛰居。

随之产生的还有街坊的流言，不知是谁传出的，认为胜海舟空有其表，实际上才学有限，德川家茂当初之所以重用胜海舟，是因为胜海舟和南明人来往密切，德川家茂看在南明人的面子上才任用他。迫于无奈，胜海舟只能告别朱永安，悄咪咪地从京都润回江户。

马车外正在下雪，导致道路不算好走，所以马车在路上缓慢地前行，有时会因为路况不好而颠簸。坐在马车里的胜海舟感觉到沮丧和无奈，他想找到些许安慰，只能将朱永安之前送他的那幅的画像抱在怀中。

恍惚间，胜海舟似乎想到什么，他脸上的消极神色，逐渐被意味不明的笑容替代。