戦国時代に智将として名を馳せ、茶人としては利休七哲の1人として知られる細川忠興（三斎）が父細川藤孝（幽斎）のために慶長7年（1602年）建立した寺で、玉甫紹�j（ぎょくほじょうそう）を開山とする。

玉甫紹�jは幽斎の弟で、三斎のおじにあたる。創建については慶長6年（1601年）とも言うが、創建に際して春屋宗園が与えた偈（げ）に「寅十月十七日」とあり、干支の関係から慶長7年の創建とみられる。

正保2年（1645年）に83歳で没した忠興は、遺言によりその遺歯が高桐院に埋葬され、以後細川家の菩提寺として庇護される。

本堂（客殿）- 長谷川等伯が描いたとされる襖絵があったが、明治時代初期の廃仏毀釈で失われてしまっている。現在の建物は忠興の末裔にあたる侯爵・細川護立（もりたつ）が寄進したものである。

　

庭園 - 通称「楓の庭」と呼ばれる簡素ながら趣のある庭で、一面の苔地の中に一基の灯籠が据えられている。

鳳来（茶室）- 裏千家・円能斎好みの茶室で、前庭に置かれている蹲踞（つくばい）は朝鮮出兵の際に加藤清正が持ち帰り、忠興に贈られたものと伝わる。

書院 - 意北軒（いほくけん）と呼ばれ、千利休の邸宅を移築したといわれる。

松向軒（しょうこうけん）- 書院の西北にある、利休の茶を忠実に継承したといわれる三斎好みの茶室で、豊臣秀吉が催した北野大茶会の際に三斎がつくった茶室を寛永5年（1628年）に移築したものといわれる。

松向軒の名の由来は三斎の法名である松向寺殿三斎宗立に由来する。二畳台目、床（とこ）は下座床、炉は台目切とする。部材は大部分が新しいものに代わっており、三斎当時の形式がどれだけ残されているかは不明である。

墓所 - 本堂庭園には忠興とガラシャ夫人の墓塔となっている春日灯籠がある。この燈籠は忠興が生前こよなく愛し，自ら墓標に指定したといわれる。また、細川家墓地から藪を挟んだ裏手には非公開の墓地があり、忠興とガラシャの嫡男で追放された細川忠隆こと長岡休無や出雲阿国、名古屋山三郎、森鴎外の著作「興津弥五右衛門の遺書」で有名な興津弥五右衛門などの墓がある。

絹本墨画山水図 2幅 附:絹本墨画楊柳観音像 - 高桐院の開創以来伝わる2幅の山水画で、南宋の宮廷画院の画家であった李唐（りとう）の作品である。2幅のうち1幅に描かれた樹木の部分に「李唐画」の隠し落款（サイン）があることが確認されている。

元は中央に楊柳観音像（国宝の「附」として指定）、左右に山水図を配した三幅対（さんぷくつい）とされていたもので、3幅とも唐の呉道子（ごどうし）の作といわれていた。

絹本着色牡丹図 2幅 - 中国・元の花鳥画家である銭舜挙（せんしゅんきょ）の作といわれる牡丹図の傑作で、秀吉の北野大茶会に用いたとされている。 絹本着色稲葉良籌（いなばりょうちゅう）像

玉甫紹�j像 - 高桐院の開山・玉甫紹�j64歳の頂相で、長谷川等伯最晩年の作と伝わる。

細川忠興像

高士騎驢図屏風 -長谷川等伯の作とほぼ確認できる四曲一隻の屏風で、明治の廃仏毀釈によって寺外に一時流出していた。

日吉山王祭礼屏風 - 滋賀県大津市・日吉大社の山王祭を描いた六曲一双の屏風で、根拠は乏しいが土佐派を再興した土佐光起（とさみつおき）の作と伝わる。

青井戸茶碗 - 「緑毛」の銘がある井戸茶碗の名品で、利休が愛用したものと言われる。