1600年(慶長5年)の徳川家康の留守中に五奉行の石田三成らは挙兵し、三成らは忠興の妻ガラシャに対して人質となるよう迫った。
ガラシャは拒絶して大坂玉造の細川屋敷で自決したが、忠隆妻の前田千世は姉・豪姫のいる隣の宇喜多屋敷に逃れる。
その頃、忠隆は、忠興とともに会津遠征や岐阜城攻撃の途上であり、関ヶ原の戦いでは東軍に属して種々の戦功をあげて内府(徳川秀忠)からの感謝状を得ている。
ちなみに、関ヶ原前後における忠隆の松井興長宛自筆状5通が八代市の松井文庫に現存しているが、それを見ると忠隆は自他ともに世子と認められている様子がうかがえる。
しかし、1600年(慶長5年)冬になって妻の千世が大坂玉造屋敷から逃れたことを咎められ、父の忠興から妻を離縁して利家の嫡男・前田利長のもとへ追い払うように命じられた。
忠隆は千世との離縁を納得せず千世をかばって前田家を訪ねて助力を求めたりしたが、ガラシャを失った忠興の怒りを買い、新領地の豊前国に赴くことなく勘当される。
さらに1604年(慶長9年)には廃嫡されてしまい、忠隆は剃髪して長岡休無と号し、千世と長男の熊千代を伴い京都で蟄居した。
なお、熊千代は同年のうちに夭折し、空性院即謳大童子として西園寺菩提寺に葬られている。
忠隆の正室千世は前田利家の娘であったため、前田・細川の姻戚関係を徳川家は好ましく思っていなかった。
細川忠興はこの際千世を離縁して前田との関係を絶とうとしたが、忠隆が承知しなかったことが廃嫡の原因であると、現在では解釈されている。
廃嫡後の忠隆の京都での生活は、6000石の固有所領を持ち京都に隠居在住していた祖父細川幽斎が支えた。
また幽斎死去後には幽斎所領6000石を整理して、忠隆に細川家からの隠居料として扶持米3000石が支給されることになった。
なお、史料では、1605-1609年に京都で忠隆に生まれた子供の徳(後に左大臣・西園寺実晴室)、吉、福(後に久世家初代・久世通式室)、万(早世)の4子女の母は千世であるとしている。
つまり、千世は細川家からは離縁されたが、忠隆とは離縁していなかった。千世はのちに京都を離れて加賀に帰り、前田八家のひとつ村井家の長次に再嫁したが、その時期は1605年(慶長10年)ではなく幽斎死去後の1611年(慶長16年)頃の可能性が高い。
細川忠興は1626年(寛永3年)京都北野の利休聚楽邸跡にある忠隆邸を訪問して孫にも初対面し、25年ぶりに忠隆の勘当を解いたが、忠隆はその後も京で暮らし続けた。
忠隆は公家との交流が深く、和歌書『愚問賢注』や能謠、茶の湯などに親しんだ。
京都の忠隆から、弟の藩主細川忠利あての小倉城への手紙なども散見される。
なお1632年(寛永9年)肥後の熊本藩に移った忠興は、忠隆を居城の八代城に招いて正式和解し熊本で住むよう申し付けたが、忠隆は固辞して京都に帰ったとされる。
1646年(正保3年)に京都で死去、享年67。法名は泰仰院瑞巌宗祥。
忠隆の墓所は京都市北区の大徳寺高桐院と、分骨墓として西園寺家ゆかりの上京区宝樹山竹林院および熊本市島崎3丁目24千原台の瑞巌寺跡地内膳家墓所。
死去にあたり、忠恒と忠春に計2000石分、徳(西園寺家御台所)やそのほかの娘達にも計1000石分の隠居料相続を遺言し、実行された。