18歳になると、「論語」「孟子」「詩経」「書経」はもちろん「史記」「左伝」「老子」「荘子」を暗記したという。
19歳で長崎へ遊学して蘭学を学ぶ。長崎奉行配下の役人で砲術家の山本宅に居候し、オランダ通詞の元へ通ってオランダ語を学んだ。
その後、大阪の蘭学者・緒方洪庵の「適塾」で学ぶこととなった。

安政6年（1859年）、日米通商条約により横浜において使われていたのは、もっぱら英語であった。　苦労して学んだオランダ語は、そこではまったく通じず大きな衝撃を受けた諭吉は英語の必要性を痛感した。　　その後、英蘭対訳・発音付きの英蘭辞書などを手に入れて英字・英語も独学で勉強していくことにした。
まさに、「学問のすゝめ」を地でゆく勉強家であった。