天保7年（1836年）6月10日、江戸本所に御蔵奉行・小野朝右衛門高福の四男として生まれる。母は塚原磯女。9歳より久須美閑適斎より神陰流（直心影流）剣術を学ぶ。

弘化2年（1845年）、飛騨郡代となった父に従い、幼少時を飛騨高山で過ごす。弘法大師流入木道（じゅぼくどう）51世の岩佐一亭に書を学び、15の歳に52世を受け継ぎ、一楽斎と号す。

また、父が招いた井上清虎より北辰一刀流剣術を学ぶ。

嘉永5年（1852年）、父の死に伴い江戸へ帰る。井上清虎の援助により安政2年（1855年）に講武所に入り、千葉周作らに剣術を学ぶ。

また同時期、山岡静山に槍術を学ぶ。静山急死のあと、静山の実弟・謙三郎（高橋泥舟）らに望まれて山岡家の養子となり、静山の妹・英子（ふさこ）と結婚。

身長六尺二寸（188センチ）、体重二十八貫（105キロ）と当時としては並外れた体格であった。

安政4年（1857年）、清河八郎ら15人と尊王攘夷を標榜する「虎尾の会」を結成。文久3年（1863年）、浪士組（新撰組の前身）取締役となり、将軍・徳川家茂の先供として上洛するが、間もなく清河の動きに警戒した幕府により浪士組は呼び戻され、これを引き連れ江戸に帰る。

清河暗殺後は謹慎処分。浪士組は新徴組として再組織される。この頃、中西派一刀流の浅利義明（浅利又七郎）と試合をするが勝てず弟子入りする。

慶応4年（1868年）、精鋭隊歩兵頭格となる。江戸無血開城を決した勝海舟と西郷隆盛の会談に先立ち、3月9日官軍の駐留する駿府（現在の静岡市）にたどり着き、単身で西郷と面会。

このとき、官軍が警備する中を「朝敵徳川慶喜家来、山岡鉄太郎まかり通る」と大音声で堂々と歩行していったという。 西郷との談判において江戸開城の基本条件について合意を取り付けることに成功。

その行動力は、西郷をして「金もいらぬ、名誉もいらぬ、命もいらぬ人は始末に困るが、そのような人でなければ天下の偉業は成し遂げられない」と賞賛させた。

3月13日・14日の勝と西郷の江戸城開城の最終会談にも立ち会った。5月、若年寄格幹事となる。

明治維新後は、徳川家達に従い、静岡県に下る。6月、静岡藩藩政補翼となり、清水次郎長と意気投合、「壮士之墓」を揮毫して与えた。

明治4年（1871年）、廃藩置県に伴い新政府に出仕。静岡藩権大参事、茨城県参事、伊万里県権令を歴任した。

西郷のたっての依頼により、明治5年（1872年）に宮中に出仕し、10年間の約束で侍従として明治天皇に仕える。

侍従時代、深酒をして相撲をとろうとかかってきた明治天皇をやり過ごして諫言したり、明治6年（1873年）に皇居仮宮殿が炎上した際、淀橋の自宅からいち早く駆けつけたなど、剛直なエピソードが知られている。

宮内大丞、宮内少輔を歴任した。

明治15年（1882年）、西郷との約束通り致仕。明治20年（1887年）5月24日、功績により子爵に任ぜられる。 明治維新後も剣術の修行は続けており、明治13年（1880年）、浅利義明より一刀流の免許皆伝を許された。

明治18年（1885年）には、小野派一刀流第9代の小野業雄からも道統と瓶割刀・朱引太刀・卍の印を継承し、一刀正伝無刀流（無刀流）を開いた。 剣・禅・書の達人として知られる。

書も巧みであり、人から頼まれれば断らずに書いたので各地で鉄舟の書が散見される。一説には生涯に100万枚書したとも言われている。

また禅においても30里離れた三島の竜沢寺 星定和尚のもとに3年間足繁く参禅し、箱根で大悟したという逸話が残っている。禅道の弟子に三遊亭円朝らがいる。

明治16年（1883年）、維新に殉じた人々の菩提を弔うため東京都台東区谷中に普門山全生庵を建立した。

明治21年（1888年）7月19日9時15分、皇居に向かって結跏趺坐のまま絶命。死因は胃癌であった。享年53。全生庵に眠る。戒名「全生庵殿鉄舟高歩大居士」。