22 czerwca 1941 roku, w dniu wybuchu wojny z ZSRR, potencjał Kriegsmarine w rejonie Morza Czarnego był znikomy.
Akwen ten, połączony z innymi morzami jedynie wąskimi i kontrolowanymi przez neutralną Turcję cieśninami Bosfor i Dardanele, wydawał się praktycznie nieosiągalny dla niemieckich jednostek pływających, (w myśl traktatu w Montreaux z roku 1934 okręty państw walczących nie miały prawa wpływać przez cieśniny tureckie na Morze Czarne i wypływać zeń). Wprawdzie też, choć spodziewano się udziału w nadciągającym konflikcie sojuszniczej Rumunii, wybrzeża Morza Czarnego stanowiły drugorzędny kierunek działań ofensywnych.
Głównym celem Operacji "Barbarossa" było rozbicie w "jednej szybkiej kampanii" głównych sił Armii Czerwonej, a te, jak sądzono, znajdowały się na kierunku Moskwy i Leningradu. Mimo to niemieckie siły rozlokowano również w Rumunii, a znalazły się wśród nich także jednostki Kriegsmarine. Zadanie tych ostatnich ograniczało się jednak do ochrony wybrzeża i (potencjalnie) przejmowania i zabezpieczania zdobytych baz radzieckich. Początkowo siły Kriegsmarine na Morzu Czarnym podlegały szefowi niemieckiej misji morskiej w Bukareszcie.
W styczniu 1942 r., stworzono na jej miejsce stanowisko dowódcy na Morzu Czarnym (Admiral Schwarzes Meer), któremu podporządkowano operacyjnie również floty rumuńską i bułgarską, (sojusznika Niemiec, formalnie jednak nie pozostającego w stanie wojny z ZSRR) oraz inne oddetaszowane jednostki rumuńskie i węgierskie. Dowódca na Morzu Czarnym podlegał Grupie Marynarki "Południe" z siedzibą w Sofii.

W celu ochrony Konstancy - głównego portu Rumunii - zainstalowano w jej rejonie (w lutym-marcu 1941 r.) silne baterie artylerii nadbrzeżnej (dwie z działami 280 mm, jedną dział 170 mm i trzy-cztery dział 105 mm; artyleria ta częściowo pochodziła z odwodu OKH). W Konstancy uruchomiono też (czerwiec 1941) produkcję promów desantowych Siebela.
W rozpoczynającej się wojnie Rosjanie mieli na Morzu Czarnym miażdżącą przewagę, posiadając tam m.in. 1 pancernik, 2 ciężkie krążowniki, 3 lekkie krążowniki, 20 niszczycieli i ponad 40 okrętów podwodnych. Wśród okrętów budowanych w stoczniach znajdowały się 1 pancernik i 2 ciężkie krążowniki.
Marynarka wojenna Rumunii (której trzon stanowiły 4 niszczyciele, 3 torpedowce, 3 okręty podwodne, 1 stawiacz min i 4 patrolowce), nie stanowiła dla tych sił równorzędnego przeciwnika.

Zniszczenie Floty Czarnomorskiej miało jednak przypaść w udziale siłom powietrznym - liczącej około 400 samolotów 4. Flocie Powietrznej Luftwaffe (wspieranej przez 350 maszyn rumuńskich, w tym 60 samolotów rumuńskiego lotnictwa morskiego). Wybiegając nieco w przyszłość należy stwierdzić, iż lotnictwo nie wywiązało się w pełni z powierzonego mu zadania. Zarazem jednak, w przeciągu całej wojny na Morzu Czarnym, zdołało ono wyrządzić ciężkie straty wśród radzieckich jednostek pływających. Samoloty zatopiły m.in. 9 niszczycieli ("Frunze", "Sowierszennyj", "Swobodnyj", "Biezupriecznyj", "Taszkient", "Bditielnyj", "Charkow", "Biesposzczadnyj", "Sposobnyj") i lekki krążownik "Czerwonaja Ukraina". Kolejny lekki krążownik, "Komintern", został uszkodzony tak poważnie, że zrezygnowano z jego remontu.

W latach 1941-1943 uszkodzeniom uległy również - z dużych jednostek Floty Czarnomorskiej - pancernik "Pariżskaja Kommuna" oraz krążowniki "Krasnyj Kawkaz", "Krasnyj Krym" i "Mołotow" (ten ostatni storpedowany przez włoski ścigacz). Niemożność wyremontowania lub przywrócenia pełnej zdolności bojowej (np. zużytej artylerii), tych okrętów w dysponujących słabym zapleczem technicznym portach na wschodnim wybrzeżu Morza Czarnego, były główną przyczyną ich nikłej aktywności w latach 1943-1944.
Ponadto Stalin, obawiający się utraty którejś z tych jednostek (zwłaszcza w wyniku ataków lotniczych), zastrzegł dla siebie decyzję o jakimkolwiek ich wykorzystaniu. W efekcie - jak napisał jeden z historyków zmagań - "... rumuńskie niszczyciele i niemieckie ścigacze wywieszały flagi i płynęły przez Morze Czarne, tak jakby w bazach na wybrzeżu kaukaskim nie było radzieckich okrętów liniowych, krążowników ani niszczycieli". Z drugiej strony, to nie radzieckie okręty, lecz samoloty miały okazać się śmiertelnym zagrożeniem dla czarnomorskich marynarek "Osi".

Całkowita eliminacja Floty Czarnomorskiej miała nastąpić z chwilą zajęcia wszystkich jej baz przez wojska lądowe. Stosunkowo szybko podeszły one pod Odessę (05.08.41). Jej obrona zakończyła się 16 października 1941 r. Wcześniej, 17 sierpnia 1941 r., Niemcy zajęli port i bazę wojenną w Nikołajewie. W tamtejszych stoczniach zdobyli szereg radzieckich, niewykończonych okrętów, m.in. pancernik "Sowietskaja Ukraina", 2 krążowniki ("Ordżonikidze" oraz drugi, któremu nie nadano jeszcze nazwy) , 4 niszczyciele i 3 okręty podwodne. Jednostki te znajdowały się w stanie uniemożliwiającym sfinalizowanie ich budowy. Za to, w oparciu o bogate zaplecze bazy, utworzono "Kriegsmarinewerft Nikolajew-Cherson" - stocznię, w której przeprowadzano naprawy okrętów sprowadzonych na Morze Czarne. Poza tym w Nikołajewie i Chersoniu zbudowano kilkanaście niewielkich jednostek. Planowano również produkować okręty podwodne typu XXIII (budowę pierwszej jednostki, U-2446, przerwał odwrót wojsk niemieckich z Nikołajewa w 1944 r.).

Pod koniec października 1941 r. wojska niemieckie (11 Armia) wkroczyły na Krym, a w listopadzie osiągnęły Sewastopol. Próba zdobycia go z marszu nie powiodła się. W grudniu 11 Armia przystąpiła do szturmu twierdzy. Musiała go jednak przerwać z powodu radzieckich desantów pod Kerczem i Teodozją (26-29.12.41). Kampania krymska przedłużyła się więc na rok 1942.

Jesienią 1941 r. nad Morze Czarne przeniesiono pierwsze jednostki lotnictwa morskiego - Stab i 2./SAGr. 125 (wodnosamoloty Ar 196) oraz 3./125 (łodzie latające BV 138). Stacjonowały one w Konstancy; później, po zdobyciu Krymu, przeniesiono je do Sewastopola i Kerczu. Zajmowały się patrolowaniem, śledzeniem działań floty radzieckiej, osłoną konwojów i zwalczaniem okrętów podwodnych.

Konieczność posiadania na Morzu Czarnym większej ilości jednostek wojennych Kriegsmarine dostrzeżono już zimą 1941 r. Lądowe drogi zaopatrzenia, których przepustowość drastycznie ograniczyły błoto i mróz, okazały się niewystarczające dla zapewnienia dostaw dla oddziałów frontowych. W tej sytuacji wprowadzenie znacznych sił morskich na wody Morza Czarnego było koniecznością - tym pilniejszą, iż wiosną 1942 r., uwaga Hitlera skupiła się właśnie na południowym skrzydle frontu wschodniego. Rozpoczęta tam ofensywa ("Fall Blau") miała na celu zdobycie kaukaskich pól naftowych i dotarcie do Wołgi.

Dyrektywa OKW nr 41 z 5 kwietnia 1942 r. określała m.in. rolę Kriegsmarine w tej operacji:
"Głównym zadaniem marynarki wojennej na Morzu Czarnym - o ile pozwolą na to jej zasoby sił bojowych i ubezpieczających oraz posiadany tonaż - jest odciążenie zaopatrzenia wojsk lądowych i lotnictwa przez transport morski. Mając na uwadze nie złamaną jeszcze siłę bojową rosyjskiej Floty Czarnomorskiej, sprawą o szczególnym znaczeniu jest możliwie jak najszybsze osiągnięcie gotowości przez lekkie siły morskie, które zostaną przeniesione na Morze Czarne."
Chodziło tutaj o zakrojony na szeroką skalę przerzut okrętów i statków z portów Bałtyku i Morza Północnego.
Kierowano je Łabą do Drezna, a stamtąd transportem kołowym do Regensburga. Następnie docierały Dunajem na Morze Czarne. Długość całej trasy wynosiła około 2400 km. Do roku 1944 w podobny sposób przetransportowano na wody Morza Czarnego 437 jednostki. Znalazło się wśród nich 6 okrętów podwodnych, 30 ścigaczy torpedowych, 23 kutry trałowe, 50 promów desantowych (MFP), 26 kutrów patrolowych (KFK), 84 barkasy, 30 holowników, 2 lodołamacze, 4 pogłębiarki, 2 statki kołowe, 18 kutrów motorowych, 153 jednostki żeglugi przybrzeżnej (m.in. barki-cysterny).

Dyslokowane na Morze Czarne U-Booty (U-9, U-18, U-19, U-20, U-23, U-24 - wszystkie typu IIB) weszły w skład bazującej w Konstancy (do marca 1944 r. również w Teodozji), 30. Flotylli Okrętów Podwodnych. Do września 1944 zniszczyły one 34 jednostki wojenne i handlowe (łączna pojemność tych ostatnich wyniosła nie mniej niż 42 280 BRT).

Na wybrzeżu Morza Czarnego pierwszym akordem niemieckiej ofensywy wiosennej był atak 11. Armii na Półwysep Kerczeński (maj 1942 r.), gdzie odcięciu i zniszczeniu uległy 3 radzieckie armie. Umożliwiło to 11. Armii wznowienie w czerwcu szturmu Sewastopola, którego zwycięskie zakończenie nastąpiło 2 lipca 1942 r. Wkrótce też, po wzięciu Rostowa (25.07.42), niemieckie armie znalazły się na przedpolu Kaukazu.
Po upadku Sewastopola, ulegając naciskowi politycznemu ze strony państw "Osi", Turcja wyraziła zgodę na przejście ich jednostek pływających przez Bosfor. Po konsultacjach niemieckich i włoskich dowództw marynarek wojennych, na Morze Czarne przeniesiono tą drogą 6 okrętów podwodnych i 20 ścigaczy Regia Marina.

Dyrektywa OKW nr 45 z 23 lipca 1942 r. rozdzielała niemiecką ofensywę na dwie odrębne w zasadzie kampanie - pierwsza miała na celu zdobycie Zakaukazia, druga - zajęcie Stalingradu i Astrachania. Natarcie na kierunku kaukaskim, obejmującym m.in. brzegi Morza Czarnego, powierzono Grupie Armii "A".
W związku z tym Dyrektywa nr 45 również wobec Kriegsmarine stawiała nowe wymagania:
"Marynarce wojennej przypada zadanie, oprócz bezpośredniego wsparcia wojsk lądowych przy przeprawie przez Cieśninę Kerczeńską, rozporządzalnymi na Morzu Czarnym siłami morskimi przeszkodzić nieprzyjacielskiej flocie wojennej w oddziaływaniu z morza na operacje przeprowadzane na wybrzeżu czarnomorskim.
W celu ułatwienia zaopatrywania wojsk lądowych należy możliwie najszybciej dostarczyć na Don, przez Cieśninę Kerczeńską, parę barek desantowych marynarki.
Dowództwu marynarki wojennej przypadnie poza tym przygotowanie do działań lekkich morskich sił zbrojnych na Morzu Kaspijskim do zakłócania nieprzyjacielskich połączeń morskich (transport ropy naftowej i połączenia z Anglosasami w Iranie)."

Jednak Niemcy nie zdołali przełamać radzieckiej obrony na Kaukazie. Nacierająca z rejonu Rostowa 17. Armia zdobyła Krasnodar, a 3. Armia Rumuńska zajęła wybrzeże Morza Azowskiego. Następnie przekroczono jeszcze rzekę Kubań. Jednak ostatnim już sukcesem ofensywy na skrzydle nadmorskim było zdobycie Noworosyjska (10.09.42). Później natarcie utknęło w miejscu. Rosjanie utrzymali w swym ręku Tuapse, Batumi i Suchumi - ostatnie bazy Floty Czarnomorskiej.
W wyniku klęski pod Stalingradem Grupa Armii "A", której groziło odcięcie na Kaukazie, została stamtąd wycofana.
Nie doszło więc i do planowanych operacji marynarki na Morzu Kaspijskim. Głównym zadaniem Kriegsmarine stało się obecnie zaopatrywanie Krymu oraz frontów ustabilizowanych chwilowo nad Kubaniem i Miusem. Jej siły osłaniały również linie komunikacyjne pomiędzy Odessą, Konstancą i Bosforem.
W samym tylko roku 1943 konwojowano na tych trasach 2030 statków o łącznej pojemności 1 350 000 BRT. Szczególną wagę przywiązywano do zapewniania zaopatrzenia 17. Armii, utrzymującej przyczółek na Półwyspie Tamańskim. Od końca lutego do czerwca 1943 r. z Teodozji do Anapy przeprowadzono 99 małych konwojów, składających się początkowo z 2-3, a następnie 5-6 promów MFP (Operacja "Kleinen Bär").

Marynarka wojenna zabezpieczała okupowane wybrzeża, instalując baterie artylerii i kładąc zagrody minowe. W rejonie portów pozostających pod kontrolą Rosjan operowały ścigacze i okręty podwodne, starając się zakłócać radziecką żeglugę. Działania ofensywne niemieckich ścigaczy pod radzieckimi portami na wschodnim wybrzeżu Morza Czarnego nie przyniosły godnych uwagi efektów. Ścigacze torpedowe skuteczniej działały pod Noworosyjskiem, gdzie w lutym 1943 r., Rosjanie zdołali wysadzić desant i zdobyć przyczółek (tzw. "Małą Ziemię"). Schnellbooty zatopiły tam np. trałowce T-403/"Gruz" i "Krasnaja Gruzja". Powodzeniem została też uwieńczona operacja "Neptun" (25.06.43), gdy niemieckie i włoskie ścigacze oraz jednostki patrolowe zatopiły kilkanaście małych jednostek radzieckich, zaopatrujących "Małą Ziemię".
W celu ochrony własnych baz i linii żeglugowych oraz sparaliżowania ruchów floty radzieckiej, na szeroką skalę wykorzystywano na Morzu Czarnym broń minową. Na minach państw Osi, stawianych również przez okręty podwodne i lotnictwo, Rosjanie utracili m.in. 3 niszczyciele ("Moskwa", "Bystryj", "Smyszlonyj") i 9 okrętów podwodnych.

W pierwszych latach wojny właśnie radzieckie okręty podwodne najbardziej zagrażały liniom komunikacyjnym "Osi", (według Rosjan zniszczyły one w 1942 r. 14 statków, a w 1943 r. 70 statków o pojemności 42 787 BRT oraz 70 jednostek wojennych). Niemieckie "U-Bootjäger" zdołały zatopić 5 radzieckich okrętów podwodnych; 3 kolejne zapisały na swe konto różnego rodzaju jednostki sojusznicze (włoskie i rumuńskie). 4 okręty podwodne Floty Czarnomorskiej zaginęły i możliwe, że część z nich również padła ofiarą min lub sił ZOP.

We wrześniu 1943 r. nastąpił odwrót 17. Armii z przyczółka na Kubaniu. W ciągu 34 dni ewakuacji przez Cieśninę Kerczeńską przeprawiono 227 484 niemieckich i rumuńskich żołnierzy, 28 486 "Hiwis" i robotników, 72 899 koni, 21 230 samochodów, 27 741 pojazdów o zaprzęgu konnym, 1815 dział i ponad 95 000 ton materiałów wojennych. Choć w operacji uczestniczył również sprzęt saperski, to większość użytych w niej sił zapewniła marynarka (wydzielając 4 flotylle promów Siebela i liczne drobne jednostki pływające - barki, holowniki, kutry itd.) i była ona w największej części jej dziełem.

W nocy z 31 października na 1 listopada 1943 r. Rosjanie wysadzili desant pod Eltigen na południe od Kerczu. Następny desant na Krymie, pod Jenikale na północ od Kerczu, wylądował dwie doby później. O ile tego drugiego przyczółka, położonego nad Morzem Azowskim, Niemcy nie mogli skutecznie zablokować, o tyle do zwalczania jednostek zaopatrujących przyczółek eltigeński skierowali poważne siły morskie i lotnicze. W rezultacie zadali Rosjanom ciężkie straty, obejmujące m.in. 22 kutry patrolowe, 50 barek desantowych i 40 mniejszych jednostek (prawdopodobnie 53 z powyższych jednostek zatopiły okręty Kriegsmarine), zaś przyczółek do 4 grudnia 1943 r. uległ likwidacji. Niemcy przypłacili ten sukces utratą 1 ścigacza, 11 patrolowców, 4 małych eskortowców i 16 promów desantowych.

Na początku listopada 1943 r. wojska radzieckie dotarły do Perekopu i odcięły lądowe połączenie Krymu z niemieckim zapleczem. Odtąd ciężar zaopatrywania wojsk na półwyspie spoczął na flocie i lotnictwie. 11 marca 1944 r., Niemcy wycofali się z Nikołajewa, niszcząc uprzednio jego urządzenia portowe i stoczniowe. Zdołano ewakuować 3 kadłuby budowanych tam ścigaczy torpedowych. 10 kwietnia 1944 r. Rosjanie odzyskali Odessę.

7 kwietnia 1944 r. ruszyło decydujące natarcie radzieckie na Krym. Część zagrożonych okrążeniem wojsk Niemcy ewakuowali drogą morską z południowych brzegów półwyspu do Sewastopola. Do 16 kwietnia całość broniącej Krymu 17. Armii została zepchnięta lub wycofała się do Sewastopola, który już 12 kwietnia zaczęto ewakuować. Do 20 kwietnia z Sewastopola wywieziono 77 000 ludzi (głównie rannych, chorych i personelu niewalczącego), lecz tego dnia siły niemieckie w rejonie tego miasta liczyły jeszcze 125 000 żołnierzy. 12 kwietnia Hitler wydał rozkaz utrzymania Sewastopola za wszelką cenę i przyrzekł wysłanie doń posiłków (z których dotarły tylko 2 bataliony marszowe, w sumie 1300 ludzi). 5 maja Rosjanie rozpoczęli szturm twierdzy. 8 maja Führer wyraził zgodę na jej ewakuację. Decyzja ta okazała się spóźniona.
Mimo zaangażowania 190 jednostek wojennych i handlowych nie zdołano zaokrętować całości zepchniętych na półwysep Chersonez wojsk; poważne też były straty poniesione od ataków radzieckiego lotnictwa (szczególnie tragiczne okazało się zatonięcie rumuńskich statków "Totila" i "Teja", wraz z którymi zginęło aż 8000 ludzi). Od 8 kwietnia do 12 maja, tzn. do dnia upadku Chersonezu, ostatniej reduty na Krymie, Niemcy stracili 31 700 żołnierzy, a Rumuni 25 800. Około 20 000 zaginęło podczas ewakuacji. Według innych danych poległo lub dostało się do niewoli 87 000 żołnierzy. Ogółem, drogą morską i powietrzną, ewakuowano 116 000 ludzi. Jednymi z walczących na Krymie do ostatka oddziałów były 3 bataliony stworzone z lądowych jednostek marynarki.

20 sierpnia 1944 roku, Armia Czerwona rozpoczęła operację jassko-kiszyniowską, w szybkim tempie zajmując dużą część terytorium Rumunii i posuwając się w kierunku Dunaju. Tego samego dnia miał miejsce potężny nalot amerykańskiego lotnictwa na Konstancę, a następnie silne ataki lotnictwa radzieckiego (których celem była również Sulina w ujściu Dunaju). Wszystkie one wyrządziły katastrofalne szkody wśród urządzeń portowych i zadały ciężkie straty bazującym w Konstancy jednostkom Kriegsmarine. Zatonął wówczas m.in. okręty podwodny U-9, 9 ścigaczy torpedowych (m.in. S-42, S-52, S-131), 8 kutrów trałowych i 4 transportowce.
W zaistniałej sytuacji pozostałe okręty niemieckie opuściły Konstancę. Okręty podwodne U-18 i U-24, ścigacze torpedowe S-28 i S-149 oraz kuter trałowy KT-39, ciężko uszkodzone i niezdolne do wyjścia w morze, zostały zatopione przez własne załogi na redzie Konstancy (25.08.44).
23 sierpnia 1944 doszło w Rumunii do niepomyślnego dla Niemiec przewrotu politycznego, w wyniku którego został obalony marszałek Antonescu. Nowy rząd rumuński dokonał politycznej wolty, zrywając dotychczasowy sojusz z III Rzeszą i wypowiadając jej wojnę (25.08.44).
W powstałej sytuacji jednostki Kriegsmarine podjęły działania również przeciwko flocie rumuńskiej. 1 września 1944 r. u wyjścia do Konstancy okręt podwodny U-23 zaatakował torpedami niszczyciel "Regele Ferdinand" oraz statek frachtowiec "Oituz" (2886 BRT), ten drugi ciężko uszkadzając (nie został już naprawiony).

Po utracie rumuńskich baz morskich, niemieckie okręty skierowano do Burgas i Warny w neutralnej wobec ZSRR Bułgarii. Jednak korzystanie z tych portów okazało się na dłuższą metę niemożliwe. W nocy 29/30 sierpnia sto kilkadziesiąt jednostek Kriegsmarine (m.in. 4 ścigaczy torpedowe, 14 patrolowców, 24 ścigacze okrętów podwodnych, liczne promy artyleryjskie i transportowe oraz 700-tonowe transportowce) uległo samozatopieniu tuż poza granicą bułgarskich wód terytorialnych. Los ten ominął 1 ścigacz okrętów podwodnych (UJ-117, dawniej okręt-pułapka "Schiff-19"), 1 kuter trałowy, kilka kutrów patrolowych KFK i 700-tonowy transportowiec KT-104, które przekazano Bułgarii tytułem odszkodowania za statki utracone w niemieckiej służbie.

Jednostki, które usiłowały przedrzeć się w górę Dunaju (około 200, od małych okrętów wojennych, przez statki warsztatowe, szpitalne i różnorodne cywilne, po pływający sprzęt saperski), ostatecznie nie zdołały dopłynąć do terenów wciąż kontro- lowanych przez Wehrmacht i zostały zniszczone przez własne załogi pod Prahovem (02.09.44).

Ostatnim sukcesem Kriegsmarine w rejonie Morza Czarnego było zatopienie radzieckiego trałowca "Wzryw" przez okręt podwodny U-19 (02.09.44). 10 września 1944 r., U-20 i U-23 zostały zatopione przez własne załogi u brzegów Turcji. Taki też koniec spotkał 11 września U-19. Los tych U-Bootów podzieliły także 4 ocalałe do tej pory promy transportowe. Był to definitywny kres działań Kriegsmarine na Morzu Czarnym.

Ogromna większość poniesionych przez Kriegsmarine strat przypada na rok 1944, gdy podczas operacji w rejonie Morza Czarnego zatonęło 135 niemieckich i rumuńskich okrętów wojennych i pomocniczych oraz 104 statki (135 878 BRT). Uszkodzenia odniosły 34 jednostki (89 041 BRT). W latach 1941-1944 państwa "Osi" utraciły na Morzu Czarnym 217 statków (317 522 BRT). 105 statków (170 900 BRT) zatonęło prawdopodobnie. 87 statków (190 891 BRT) zostało uszkodzonych.