神聖ローマ帝国の司教領ヴュルツブルク[注釈 2]（現ドイツ連邦共和国バイエルン州北西部）に生まれる。シーボルト家は祖父、父ともヴュルツブルク大学の医師であり、医学界の名門だった。父はヴュルツブルク大学医学部産婦人科教授[1]ヨハン・ゲオルク・クリストフ・フォン・シーボルト。シーボルトという姓の前にフォン (von) が添えられているが、これは貴族階級を意味し、シーボルト家はフィリップが20歳になった1816年にバイエルン王国（ナポレオン戦争の終結に際してヴュルツブルク一帯を領土に加えた）の貴族階級に登録された[1]。シーボルト姓を名乗る親類の多くも中部ドイツの貴族階級で、学才に秀で、医者や医学教授を多数輩出している。

父ヨハン・ゲオルク・クリストフは31歳で死去した。1歳1か月のときである。以後、ハイディングスフェルに住む母方の叔父に育てられる。母マリア・アポロニア・ヨゼファとの間に2男1女があったが、長兄と長姉は幼年に死去し、弟のフィリップだけが成人した。