京都府宇治市六地蔵（現・宇治市六地蔵）に生まれる。幼い一雄は、後に家業の酒造業を継ぎ、「大手座」という芝居小屋を経営していた叔父の長谷川宗太郎の影響を受ける。幼い頃から大手座に通い、芝居を見て育つ。風邪をひいた子役の代役として中村鶴之助一座の「菅原伝授手習鑑寺子屋」の菅修斎役で初舞台を踏んだ。これが縁で、翌年、関西歌舞伎の中村福円に弟子入りし、中村一夫と名乗るようになった。1917年、福圓一座とともに初めて上京、浅草あづま座で公演し、嵐一夫と改名。1918年、初代中村太郎次郎の一座に加わり、長男の林長三郎を預け、林長丸を名乗る。

1927年、松竹下鴨撮影所に入社。師匠から林長次郎の芸名をもらい、犬塚稔監督の「子供の剣術」で銀幕デビューを果たした。当時、松竹は時代劇映画の製作に力を入れ始めており、林は期待の新星として莫大な宣伝費を投じて宣伝した。その結果、この映画は若い女性の間で大人気となり、林は抜群の美貌と松竹の全社的な宣伝により、一躍スター俳優の仲間入りを果たしたのである。
1950年（昭和25年）、大映京都撮影所に重役として迎えられる。翌1951年（昭和26年）、『銭形平次』（森一生監督）が公開、以後『銭形平次捕物控』シリーズとして、大映で計17本の作品が作られ、同社を支える人気シリーズの一つとなった。
1953年（昭和28年）、イーストマン・カラー第1作である、衣笠監督の『地獄門』に主演。作品はカンヌ国際映画祭グランプリとアカデミー賞外国語映画賞を受賞した。

1937年11月12日、渡辺邦男監督の「元禄繚乱」の撮影初日、俳優の三船敏郎は、共演の大河内藤次郎、入江たか子とともに宣伝用のスチール写真撮影に臨んだ。撮影を終えてスタジオを出たところで、待ち伏せしていた暴漢に突然襲われた。暴漢は安全カミソリ2本で林の左頬を12cmほど切って逃げた。この時、彼の第一声は「鏡よ、鏡！」であり、自分の顔を気にしていた。これぞ役者魂!