秀忠の家臣を手討ちにし、合戦にも遅参
慶長19(1614)年、大坂冬の陣が起きた際に、忠輝は当然大坂に向かおうとしますが、留守居役を命じられます。忠輝の周りから“乱行”の噂が立ち始めたことが原因のようですが、家康と秀忠が申し合わせた可能性は否定できません。
翌慶長20(1615)年、大坂夏の陣では出陣するも、秀忠軍との連絡がうまくいかず、秀忠の家臣を手討ちにし、合戦にも遅参するという失態を演じ、家康と秀忠から厳しい叱責を受けます。忠輝は父と兄の前で武勲をたてようと、功を焦ったのでしょう。
幽閉されていた諏訪高島城で死去
元和2(1616)年、家康が病に伏せ、いよいよという時に息子たちを枕元に呼びますが、忠輝だけは呼ばれませんでした。これはほとんどいじめに近いもので、本人はどう思ったのだろうと考えると胸が痛みます。
そして兄・秀忠は自分も「関ヶ原」に大遅参したのに、忠輝の大坂夏の陣での遅参を理由に彼を改易、伊勢国朝熊に流罪とします。さらに飛騨高山、信濃諏訪へと流罪の日々は続き、天和3(1683)年、幽閉されていた諏訪高島城で死去します。92歳の長寿でしたが、25歳で流罪となっているので、70年近い日陰の人生でした。その間茶道や絵画へと造詣を深めたと伝えられています。