Voor het herstel van het Japanse Keizerrijk onder de Meji, vormden de Tokugawa Shogunaat de wettelijke regering van Japan en heerste eveneens over de Japanse Marine. Toen in 1853 de Amerikaanse Commodore Matthew Perry met een aantal marineschepen Japan dwong haar economie open te stellen voor buitenlandse investeerders, besloten de Shogun een modernere marine op te bouwen. Hiervoor werd een beroep gedaan op het enige land waarmee Japan al heel lang handelscontacten onderhield, Nederland. De eerste Japanse moderne oorlogsschepen werden dan ook door Nederland geleverd. De Japanse Marine was in die tijd echter een door de diverse stadstaten gefinancierde marine, waarbij de schepen voornamelijk bezit waren van de diverse staten waaruit het Shogunaat was opgebouwd. Het waren dan ook diverse van deze stadstaten die bij het herstel van het Keizerrij de zijde kozen van de keizer en hiermee de aanleg vormden voor de Japanse Keizerlijke Marine. Deze Dai-Nippon Teikoku Kaigun (Japanse Keizerlijke Marine), vormde hierna de Japanse Marine tussen haar informele oprichting in 1868 en de loskoppeling van de keizerlijke devotie in 1947. Formeel was deze marine echter al in 1945 ontbonden.

Toen in 1868 het Meji Keizerrijk werd geïnstalleerd, leidde dit tot de val van de zogenaamde Shogunaat, de heerschappij van de Tokugawa Shoguns. Gedurende de strijd die hierbij werd geleverd, kreeg de Japanse Keizer steun van een aantal marines die privaat eigendom waren van steden als Saga, Choshu, Satsuma en Hiroshima. Op 26 maart 1868 hielden zes van deze schepen een vlootschouw in de Baai van Osaka. Een jaar later, in juli 1869 werd formeel de Japanse Keizerlijke Marine opgericht. Datzelfde jaar vond de Slag bij Hakodate plaats, waarbij de Japanse Keizerlijke Marine een finale overwinning behaalde op de restanten van de marine van het Shogunaat.

Politieke en organisatorische reorganisaties die hierop volgden, zorgden ervoor dat in 1871 kon worden gestart met het opbouwen van een centraal geleide marine. In februari 1872 resulteerde dit in de instelling van een Ministerie voor Marine. Al in 1870 was besloten dat de Japanse Keizerlijke Marine zou worden uitgebouwd naar voorbeeld van de Britse Royal Navy. Dit resulteerde in de aanschaf van diverse door de Britten gebouwde marineschepen en het inhuren van Brits marinepersoneel voor opleidingen. Ten tijde van de Japanse Expeditie naar Korea in 1875 en 1876 werd deze marine voor het eerst operationeel ingezet. De jaren hier opvolgend werden voornamelijk gekenmerkt door modernisatie. In 1880 besloot het Japanse Ministerie van Marine om de Japanse Keizerlijke Marine verder te laten ontwikkelen naar voorbeeld en onder de invloed van de ontwikkelingen bij de Franse Marine. Toen echter in december 1886 de in Frankrijk gebouwde kruiser Unebi op onverklaarbare wijze ten onder ging, keerde het Japanse Marinebevel zich wederom tot de Britten. Tussen 1882 en 1918 verwaterde de buitenlandse invloed en leidde uiteindelijk tot het volledig afwijzen van buitenlandse invloed.

De Japanse Keizerlijke Marine wist haar waarde te bewijzen door haar inzet tijdens de Eerste Chinees-Japanse Oorlog (1894 - 1895), de Boxer Opstand (1900) en uiteindelijk de Russisch-Japanse Oorlog (1904 - 1905) waarbij tijdens de Slag van Tsushima een vernietigende klap uitdeelde aan de marine van de Tsaar.

Ten gevolge van een Japans-Engelse overeenkomst uit 1902, nam Japan tijdens de Eerste Wereldoorlog deel aan de strijd binnen het Geallieerde kamp. Tijdens dit conflict trad de Japanse Marine op rond Duitse koloniën in het Verre Oosten, in Micronesië en in de Middellandse Zee.

Na de Eerste Wereldoorlog had Japan al snel in de gaten dat haar voornaamste vijand in de Pacific de Verenigde Staten zou kunnen worden. Dit werd met name veroorzaakt door de Amerikaanse aanwezigheid in de Filippijnen en de Amerikaanse bases op Hawaii en Midway. Gedurende jaren tussen de Eerste en de Tweede Wereldoorlog bouwde Japan aan een grote zeemacht, waarvan de kern werd uitgemaakt door een aanzienlijk aantal vliegdekschepen.

Bij aanvang van de Tweede Wereldoorlog probeerde de Japanse Marine in één klap haar superioriteit in de Pacific te vestigen door uitschakeling van de Amerikaanse Pacific Fleet in Hawaii tijdens de aanval op Pearl Harbor. Dit gelukte maar ten delen, met name door de afwezigheid van de Amerikaanse vliegdekschepen tijdens deze aanval. Toch duurde het nog tot de Slag in de Koraalzee in mei 1942 voordat de Geallieerde marines zich weer gelijkwaardig konden meten met de Japanse Keizerlijke Marine. Tot aan de Slag in de Filippijnse Zee, in juni 1944, was de Keizerlijke Japanse Marine een geduchte tegenstander om rekening mee te houden. Hierna miste Japan de middelen om grootscheepse maritieme operaties op te zetten.

In 1947 werd bij monde van de nieuwe Japanse grondwet besloten dat Japan nooit meer een offensieve strijdmacht mocht bezitten. De Japanse Strijdkrachten werden omgevormd tot de Japanse Zelfverdediging Strijdmacht waarvan de Japanse Maritieme Zelfverdediging Strijdmacht deel ging uitmaken. Deze strijdmacht is voornamelijk gericht op bescherming van de eigen territoriale wateren, maar maakt sinds enige tijd ook deel uit van door de Verenigde Naties geleide vredesoperaties.