永野は10人兄弟の次男として松江に生まれた[17]。だが実際に育ったのは広島のため[12][18]、終生広島出身と称した[12][13]。

10歳年の離れた長兄・護が東京の第一高等学校で柔道部のキャプテンであったため、夏休みなどに帰郷すると小学生の永野に柔道の相手をさせた。その結果腕力がつき、永野が表を通りかかると近所の親は子供を隠し回るほどの暴れん坊となった[17]。スポーツが万能で運動部の助っ人によく借り出され、暴れん坊の割に人に好かれたという[13]。小学6年生のとき、父が腫瘍のため46歳で死去。当時、護は東大法学部在学中だったが、財界の巨頭・渋沢栄一から、子息の渋沢正雄の勉強相手という名目で謝礼を受領し、郷里の兄弟の養育費にもあてられた[14][17]。兄弟はいずれも学業に優れ、早世した三男以外の男児6人は5人が東大、1人が東北大に進んだ。

永野は第六高等学校に合格すると柔道に専念[19]。福山市出身で共に「財界四天王」と呼ばれることになる桜田武を勧誘して高専柔道界の王座を築く[17]。当時のあだ名は「ウンテル・メンシュ（Unter Mensch）＝人間以下」であった[20]。六高から東大法学部に進み、1924年（大正13年）に卒業した。