W podpisanej 18 grudnia 1940 r. "Dyrektywie nr 21" Hitler nakazał podjęcie przygotowań do wojny z ZSRR, który miano "powalić na kolana jedną błyskawiczną kampanią". W odniesieniu do operacji morskich stwierdzał, iż "punkt ciężkości działań Kriegsmarine pozostaje także podczas kampanii na wschodzie skierowany jednoznacznie przeciwko Anglii".
Dyrektywa zawierała następujące wytyczne dla Kriegsmarine:
"Marynarce wojennej przypada zadanie przeszkodzenia w wyrwaniu się nieprzyjacielskich sił morskich z Bałtyku, przy równoczesnym zabezpieczeniu własnego wybrzeża. Ponieważ po osiągnięciu Leningradu odebrana zostanie rosyjskiej Flocie Bałtyckiej ostatnia baza i flota ta będzie wtedy w beznadziejnej sytuacji, należy przedtem unikać większych operacji morskich."

Zadania Kriegsmarine w nadciągającym konflikcie OKM (Oberkommando der Marine), sformułowało więc następująco:
1. obrona własnych wybrzeży, baz i linii komunikacyjnych na Bałtyku południowo-zachodnim przez postawienie obronnych pól     minowych
2. prowadzenie operacji ofensywnych tylko przez siły lekkie i współdziałające z marynarką lotnictwo
3. wyeliminowanie floty radzieckiej dzięki zajęciu jej baz przez wojska lądowe
4. następnie przywrócenie bezpiecznej żeglugi na Bałtyku i zaopatrywanie północnego skrzydła frontu wschodniego.

Dla osiągnięcia tych celów zaangażowano początkowo siły składające się z:
   28 ścigaczy torpedowych,
    5 okrętów podwodnych,
   10 stawiaczy min,
    7 flotylli trałowców, kutrów trałowych i patrolowych,
    3 przerywaczy zagród minowych,
    2 trałowców z kutrami na pokładach
(łącznie 130 jednostek).
Zorganizowano je w siły "C" (operujące na południowym i wschodnim Bałtyku do wysokości Wysp Moonsundzkich, tworzyły je 82 jednostki) i "D" (Zatoka Fińska, 48 jednostek). Poważnym w warunkach Bałtyku wsparciem Kriegsmarine były okręty sojuszniczej floty fińskiej.

Już w dniach poprzedzających rozpoczęcie Operacji "Barbarossa" (od 16.06.41), Kriegsmarine rozpoczęła na Bałtyku działania rozpoznawcze oraz stawianie zapór minowych, które miały odizolować flotę radziecką w północnej części Bałtyku i zabezpieczyć niemieckie porty. Następnie, w noc przed wybuchem wojny (21/22.06.41), postawiono ofensywne pola minowe w rejonie Zatok Fińskiej, Ryskiej i Wysp Moonsundzkich.
Tej samej nocy S-Booty przystąpiły do ataków na radziecką żeglugę (ich ofiarą padło kilka statków handlowych i rybackich). W następnych dniach kontynuowano kampanię minową, również z wykorzystaniem okrętów podwodnych i lotnictwa. Zarówno to, jak i ataki torpedowe S-Bootów i U-Bootów, w znacznym stopniu utrudniło działania Rosjan i zadało im poważne straty.
W wyniku postępów niemieckich wojsk lądowych (Grupa Armii "Północ") Flota Bałtycka została zepchnięta na wody Zatoki Fińskiej, tracąc niemal wszystkie bazy, m.in: Lipawę (01.07.41), Rygę (09.07.41; mimo to w okresie od lipca do sierpnia radzieckie siły lekkie aktywnie działały na wodach Zatoki Ryskiej, przysparzając strat Niemcom), Tallin (20.08.41). Podczas ewakuacji tego ostatniego zatonęło na minach oraz od ataków lotniczych aż 16 radzieckich okrętów wojennych, a także 37 jednostek handlowych i pomocniczych.
Ostatecznie Flota Bałtycka uległa zablokowaniu w Zatoce Newskiej (Kronsztad i Leningrad). Tam stała się celem zaciekłych nalotów i ostrzału niemieckiej artylerii lądowej. Bomby Luftwaffe zatopiły m.in. pancernik "Marat" (23.09.41, osiadły na dnie okręt był odtąd wykorzystywany jako stacjonarna bateria) i poważnie uszkodziły drugi - "Oktiabrskaja Riewolucija", zaś pociski artyleryjskie zatopiły ciężki krążownik "Pietropawłowsk" (18.09.41).

We wrześniu 1941 r., siły Kriegsmarine wzięły udział w operacji desantowej na Wyspach Moonsundzkich (Muhu, Hiuma, Sarema, Vormsi). Do jej wsparcia wyznaczono lekkie krążowniki "Emden", "Köln" i "Leipzig", flotyllę torpedowców, 2 flotylle S-Bootów, flotyllę trałowców, flotyllę kutrów trałowych, 3 ścigacze okrętów podwodnych oraz 2 fińskie pancerniki obrony wybrzeża (razem 45 okrętów). Siły inwazyjne tworzyło 90 okrętów desantowych różnych typów, 7 pływających baterii artylerii, 7 jednostek transportowych i pomocniczych, 34 kutry rybackie oraz fiński stawiacz min i 2 uzbrojone zaopatrzeniowce (ogółem ponad 140 jednostek).
Zaciekłe walki o archipelag trwały około półtora miesiąca (07.09-22.10.41). Dopiero zaś na przełomie listopada i grudnia Rosjanie oddali dwa kluczowe punkty u wejścia do Zatoki Fińskiej: wyspę Ossmossaar przy południowym i półwysep Hanko przy północnym jej wybrzeżu.

Spodziewając się rychłego upadku Leningradu i ewentualnego, desperackiego przedzierania się resztek Floty Bałtyckiej do neutralnej Szwecji, utworzono "Baltenflotte", silny zespół okrętów nawodnych mający taką próbę udaremnić (20.09.41).
W jego skład wchodziły pancernik "Tirpitz", ciężki krążownik "Admiral Scheer", lekkie krążowniki "Emden", "Köln", "Leipzig" i "Nürnberg", 3 niszczyciele, flotylla torpedowców i flotylla S-Bootów. Leningrad nie został ostatecznie zajęty przez Grupę Armii "Północ" i Flota Bałtycka, choć poważnie okaleczona (w roku 1941 utraciła 80 jednostek, m.in. pancernik, krążownik i 14 niszczycieli) - uniknęła całkowitego pogromu. "Baltenflotte" zaś rozwiązano w październiku 1941.

W latach 1942-1943 głównym zadaniem bałtyckich sił Kriegsmarine, była blokada floty radzieckiej we wschodniej części Zatoki Fińskiej, w której położono dalsze pola minowe, ubezpieczane przez artylerie nadbrzeżną. Wiosną roku 1942 Niemcy zostali zaskoczeni niespodziewanym sforsowaniem blokady przez radzieckie okręty podwodne i ich pojawieniem się na bałtyckich szlakach komunikacyjnych. Niemcom i Finom udało się zatopić około 20 z tych okrętów, niemniej 35 jednostek, które dokonały infiltracji, zdołało zatopić około 40 statków handlowych (po części neutralnych).
W związku z tym w 1943 r. wzmocniono blokadę. Wiosną tego roku powołano specjalny zespół floty, tzw. Netsperrverband (niemal 150 stawiaczy min i sieci oraz kutrów trałowych, trałowców pomocniczych, patrolowców i innych mniejszych jednostek) który dokonał przegrodzenia Zatoki Fińskiej siecią zaporową. Wraz z nowymi polami minowymi, bateriami nadbrzeżnymi, stacjami radio- i hydrolokacyjnymi oraz stanowiskami reflektorów, ubezpieczana przez artylerię przeciwlotniczą - stworzyła ona niezwykle skuteczny system ochrony przed próbami przedarcia się radzieckich okrętów podwodnych na Bałtyk. W 1943 r. żadnemu z nich nie powiodła się ta sztuka, a kilka z nich zatopiono.
W tym samym roku wzrosło jednak zagrożenie żeglugi ze strony radzieckiego lotnictwa morskiego, wykonującego misje poszukiwawczo-uderzeniowe dalekiego zasięgu i minowe (w latach 1942-43 zniszczyło około 20 jednostek wojennych, handlowych i pomocniczych). Mimo to w latach 1942-43 Bałtyk mógł być względnie bezpiecznie wykorzystywany jako akwen szkoleniowy dla U-Bootów i połączenie komunikacyjne Rzeszy ze Skandynawią.

Sytuacja uległa zmianie w roku 1944. Złożyły się na to dwa czynniki.
Pierwszym był odwrót Grupy Armii "Północ" spod Leningradu (styczeń 1944) i odrzucenie jej początkowo pod Narwę, a następnie aż na Półwysep Kurlandzki, gdzie została odcięta (październik 1944; broniła się tam, przemianowana na Grupę Armii "Kurlandia" i zaopatrywana drogą morską, aż do końca wojny).
Drugi stanowiło wycofanie się Finlandii z wojny z ZSRR (wrzesień 1944 r.). Doprowadziło to do likwidacji blokady Zatoki Fińskiej (w sposób dość iluzoryczny sprawowały ją teraz jedynie U-Booty), w ślad za czym nastąpiło rozpoczęcie przez flotę radziecką bardziej aktywnych działań na Bałtyku.
Odtąd na niemieckich liniach komunikacyjnych działały coraz liczniejsze okręty podwodne, zaś wiele lekkich jednostek Floty Bałtyckiej wspierało nacierającą Armię Czerwoną. W tym też okresie nasiliło się zagrożenie w postaci minowania zachodniego i południowego Bałtyku przez lotnictwo aliantów zachodnich (ponadto RAF dotkliwie zbombardował Gdynię 18.12.44 - zatonął wówczas m.in. pancernik szkolny "Schlezwig-Holstein").
Morze to straciło zatem swe walory dla szkolenia załóg U-Bootów i przestało być bezpiecznym akwenem żeglugowym.

Pragnąc zapobiec odblokowaniu Zatoki Fińskiej, Niemcy przeprowadzili (14-15.09.44) operację mającą na celu zajęcie strategicznie położonej, a kontrolowanej przez Finów wyspy Suursaari. Akcja ta zakończyła się kompromitującą porażką i przyczyniła się do wypowiedzenia przez Finlandię wojny III Rzeszy (04.10.44).

Wraz z odwrotem Wehrmachtu wzdłuż wybrzeży Bałtyku, przed Kriegsmarine pojawiło się nowe zadanie, które jej okręty miały wypełniać już do ostatnich miesięcy wojny: wsparcia artyleryjskiego broniących się wojsk lądowych. Główną siłą mającą je zapewniać była utworzona w czerwcu 1944 r., 2 Grupa Bojowa "Thiele", w skład której wchodziły przede wszystkim ciężkie krążowniki "Lützow", "Admiral Scheer", "Admiral Hipper" i "Prinz Eugen" oraz niszczyciele.
W październiku 1944 artyleria "Lützowa" i "Prinz Eugena" wspomagała obrońców Kłajpedy. W tym samym miesiącu (22-23) "Lützow" walnie przyczynił się do odparcia radzieckiego szturmu na półwysep Sworbe (ostatni rejon niemieckiego oporu na Wyspach Moonsundzkich). W walce z następnym szturmem brały udział wszystkie 4 (po 2 na zmianę) ciężkie krążowniki (21-24.11.44). Wyczerpanie przez nie amunicji i ataki radzieckiego lotnictwa na Grupę Bojową stały się główną przyczyną upadku półwyspu.

W 1945 r. okręty Kriegsmarine działały intensywnie wzdłuż brzegów Prus Wschodnich i Pomorza. M.in. w dniach 29-31.01.45 "Prinz Eugen" wspierał obrońców Sambii, a 08.02.45 "Lützow" i "Admiral Scheer" bombardowały wojska radzieckie pod Elblągiem. Te trzy jednostki uczestniczyły również w obronie Kołobrzegu (marzec 1945), a "Scheer" wspomagał oprócz tego niemieckie kontrataki w rejonie Dziwnówka (11.03.45).
Szczególnie silny ostrzał z wszystkich 4 ciężkich okrętów, a także lekkich krążowników"Köln" i "Leipzig", 9 niszczycieli i wielu mniejszych jednostek, towarzyszył obronie Gdyni i Gdańska (marzec 1945).

Zimą 1945 r. rozpoczęła się ewakuacja Prus Wschodnich i Pomorza.
Walną rolę odegrała w niej flota. Pomimo ataków radzieckiego lotnictwa i łodzi podwodnych, kosztem ogromnych ofiar (szacowanych na 20 000 ludzi) i głośnych tragedii (zatopienie "Wilhelma Gustloffa" - 30.01.45, "Generala von Steuben" -10.02.45 i "Goyi" - 16.04.45), na pokładach okrętów Kriegsmarine i pod ich eskortą wywieziono z prowincji zajmowanych przez Armię Czerwoną ponad 2 miliony osób (1 047 000 cywilów i 300 000 żołnierzy z Gdańska, Gdyni i Helu; 100 000 cywilów z Lipawy, 451 000 cywilów i 141 000 żołnierzy z Królewca i Piławy, 70 000 cywilów i 7500 żołnierzy z Kołobrzegu).
Ewakuacja trwała jeszcze w pierwszych dniach maja 1945. Tuż przed pełną, bezwarunkową kapitulacją Niemiec, pomimo licznych kontrakcji radzieckiego lotnictwa, okręty nawodne Kriegsmarine wywiozły z Kurlandii, Helu, ujścia Wisły i Świnoujścia - kilkadziesiąt tysięcy ludzi (głównie żołnierzy).

W 1945 roku Niemcy stracili na Bałtyku 69 jednostek wojennych i pomocniczych oraz 96 statków handlowych zatopionych przez radzieckie samoloty. 13 statków zniszczyły okręty podwodne (dalszych 13 prawdopodobnie). Torpedy radzieckich ścigaczy zatopiły 15 niewielkich okrętów i transportowców.
W ostatnich tygodniach wojny Kriegsmarine utraciła w rejonie zachodniego Bałtyku większość ocalałych dotąd ciężkich okrętów. Zostały zniszczone w wyniku uderzeń lotnictwa lub ciężko uszkodzone bombami i później samozatopione ("Lützow" i pancernik szkolny "Schlesien" 04.05.45 pod Świnoujściem, "Admiral Scheer" 09.04.45 w Kilonii, "Admiral Hipper" 03.05.45 w Kilonii). Zachodni Bałtyk stał się też grobem większości U-Bootów, zatopionych przez własne załogi w obliczu kapitulacji.