万次郎は（1827年1月27日）、土佐国幡多郡中ノ浜村に生まれた。中之浜村（現在の高知県土佐清水市中之浜）で半農半漁の生活を送る貧しい漁師の次男として生まれた。父は悦助、母はしお。

足摺岬沖のアジ漁に出る漁船に、料理人として乗り込んだ。乗組員は、5日半（一説には10日）漂流した後、伊豆諸島の無人島の一つである鳥島に漂着した。この島で143日間、わずかな水溜まりと海藻と海鳥だけを食べて生き抜いた。同年5月9日（1841年6月27日）、ウミガメを食料として確保するために島に立ち寄った万次郎一行は、ウィリアム・ホイットフィールド船長率いるアメリカの捕鯨船ジョン・ハウランドの乗組員に発見・救助されたる。

船長のホイットフィールドは、彼の聡明さを賞賛してよくしてくれた。アメリカ本土に渡った万次郎は、しばらくホイットフィールド船長の隣に住むエベニーザー・エイキン（英語版）の家に滞在し、船長と叔母のアメリアから養子のように扱われる。ここで地元の子どもたちと一緒に学校に通い、英語や、数学、測量・航海術などの技術を学んだ。その後、バートレット牧師が運営するバートレット・アカデミーという全寮制の学校で学び、そこで数学・測量・航海術・造船技術などを学ぶ。彼は寝る間を惜しんで熱心に勉強し、首席となった。