当人は、生まれは下関と言い、生年は明治37年、誕生日は5月5日などとも書いて語っていたが、没後20年余り経って、誕生の地は門司市小森江（現、北九州市門司区）との説が発表された[2][3]。（ただし出生届は叔父の家の現・鹿児島市に明治36年12月31日誕生として翌1月に出ている[4][5]。）

実父は宮田麻太郎、母はキク。麻太郎が認知しなかったので、娘は『林フミ子』として、母方の叔父の戸籍に入った。麻太郎は下関で競り売りやテキ屋をやって当て、1907年若松市（現・北九州市若松区）へ移って繁盛したが、浮気して、母子は1910年、番頭の沢井喜三郎と家を出た。 養父と母は北九州の炭坑町を行商して回り、芙美子の小学校は長崎・佐世保・下関と変わった。 喜三郎は下関で古着屋を営んで小康を得たが1914年倒産し、11歳の芙美子は本籍地の鹿児島に預けられたのち、旅商いの両親に付いて山陽地方の木賃宿を転々した。