Nätverket dör vid filöverföring

Jag har nyligen gjort om lite i nätverket hemma i samband med att jag fick en ny server och har stött på ett problem med den nya servern.
När jag kopierar en fil till/från den nya servern så dör nätverket i 99 fall av 100 och jag lyckas inte lista ut varför det händer.

Såhär är det uppsatt (förenklat):
Server 1 (ESXi)

• pfSense

• Ubuntu för filöverföringar

Server 2 (ESXi)

• OpenMediaVault (filserver)

• Några ytterligare VMs som för stunden är nedstängda

Switch
Cisco SG350-28

Nätverket är uppsatt med flertalet VLAN och Ubuntu VM:en och OMV ligger på separata VLAN.
Portarna på switchen för pfSense och VM:s är uppsatta som trunk för att kunna hantera flera olika VLAN.
pfSense har en dedikerad NIC för LAN och sedan är en annan NIC uppsatt för VM:s (en NIC per server så klart).

Händelseförlopp:
Jag startar en SSH-anslutning från min PC till Ubuntu VM:en som i sin tur har en mapp monterad som är utdelad från OMV.
När jag sedan försöker kopiera (eller flytta) en större fil till/från Ubuntu VM:en till OMV så dör hela mitt nätverk.
Samtliga VM:s är åtkomliga om jag ansluter direkt till respektive server. pfSense kör utan problem och har access mot omvärlden men ingen access till nåt inom mitt LAN.
Konsolen för switchen rapporterar att samtliga anslutna nätverksportar är uppe och igång, och under fileröverföringen så dyker inga felmeddelanden upp.
För att få igång nätverket igen så måste jag starta om switchen genom att dra ur strömsladden.

Det går fint att flytta mindre filer, men när de går upp i storlek, några GB, så sker ovanstående.
Det går dessutom fint att föra över filer från omvärlden till Ubuntu-VM:en, det är internt på LAN som det strular.

Med lite support på reddit (länk) så trodde jag att jag hittat felet, en NIC på moderkortet på server 1 som inte mådde bra, för när jag bytte till annan NIC gick det utmärkt att flytta filer, men nu har felet uppstått igen.
Med den "dåliga" NIC:en var jag dessutom tvungen att stänga ner Ubuntu VM:en för att inte nätverket skulle krascha omgående efter omstart av switchen, men med den nya NIC:en så kan jag åtminstone ha den VM:en igång.

Loggarna på respektive VM pekar inte på några konstigheter. Loggarna i pfSense säger ingenting och som sagt så får jag ingen konstig output från switchen (och självklart inget i loggen heller).

Ubuntu-VM:en var tidigare på server 2 och om jag startar upp den där så kan jag göra filöverföringar utan problem, så det är nåt specifikt med Server 1 som skapar den här problematiken.
Konfigurationen på VM och nätverk är identisk om jag kör den på server 2, så jag kan inte se att jag gjort nåt konfigurationsmisstag.

Nån som har tips på saker att försöka eller undersöka för att komma till rätta med detta?

Hmm, skulle det kunna vara lagringen på Ubuntu VM:en? Den använder en SSD för själva operativet men en HDD för all övrig lagring.
På den gamla installationen av den VM:en så användes bara SSD.
Men jag ser inte kopplingen till att cache på lagringen skulle sänka hela nätverket.

Saken är ju den att allt fungerar fint när Server 1 inte är inblandad i filöverföringen, mer än att pfSense routar nätverkstrafiken då.
Så jag vet att lagringen på filservern (OMV) är ok, inklusive nätverkskonfig i pfSense och switch.

Men jag ska köra en vända iperf imorrn, eller flera rent av, för att se vad som händer.

Nej, promiscuous mode är inte aktiverat på någon vSwitch.

Har faktiskt inte kollat om den räknar upp paket eller om de droppas i samband med att nätverket slutar fungera.
Får kolla i konsolen imorgon när jag testar vidare.

Det som talar emot en lager 2 loop är att en exakt likadant konfigurerad VM, men på server 2, inte skapar samma problematik.
Dvs det är samma VLAN, samma nätverksport på switchen. Jag har även testat med samma IP (inte med båda VM igång så klart), och det fungerar fint.
Det som skiljer i det fallet är serverhårdvaran inklusive NIC (dock är båda Intel).

MTU är standardkonfiguration, har inte rört det på vare sig servrar eller switch.
Kommer bara åt MTU-konfig via konsol på switchen, så dubbelkollar imorgon att den stämmer överens med servrarna.

Är osäker på exakt filstorlek där beteendet uppstår, men filer under 1 GB funkar fint. Tror det är större än 4-5 GB som det går åt skogen (dock gissning).

Har väldigt begränsad erfarenhet av STP, nåt specifikt du tänker på?
STP är aktivt på samtliga portar på switchen och jag tycker jag borde fått konsol-output om det varit nåt på tok med STP, ex att STP guard triggas.

Har inte testat IPv6.

Annat nätverkskort eller bara annan nätverksport? Har möjlighet att göra båda då jag dels har NICs på moderkortet men även ett extra nätverkskort.
Eftersom trafiken passerar pfSense så går trafiken över två olika NICs på server 1, och i dagsläget på samma nätverkskort(Intel). Men första konfig jag gjorde med den "dåliga" NIC:en jag nämnde så hade Ubuntu VM:en NIC på annat nätverkskort(Broadcom).
Långt svar, men ja.

Inga SFP-moduler används.

Så, nu har jag testat och kollat det som rekommenderades igår.

MTU - Jumbo frames är inte aktiverat på switchen och jag kan inte se vad standardvärdet på MTU är, men enligt Ciscos Data Sheet så är standard MTU 2000.
Samtliga vSwitchar har MTU på 1500. Kollade även MTU på Ubuntu VM:en, och även den är 1500. Min desktop PC har också 1500 MTU.

iperf (S=server, C=klient)
Test utfört med en överföring på 60s (6.5GB, 900-950 Mbit/s).
Ubuntu VM (S) - Desktop (C) = Allt fungerade fint.
Desktop (S) - Ubuntu VM (C) = Allt fungerade fint.
Ubuntu VM (S) - OMV (C) = Allt fungerade fint
OMV (S) - Ubuntu VM (C) = Allt fungerade fint

Test utfört med en överföring på 5 minuter (32.5GB, 930 Mbit/s).
OMV (S) - Ubuntu VM (C) = Allt fungerade fint

Paket på interfacen när nätverket dör
Inte kollat då testerna med iperf tyder på att det faktiskt inte är nätverket som är orsaken utan troligtvis lagringen för Ubuntu VM:en

Filöverföringen är mellan OMV och Ubuntu. Jag vill alltså kopiera/flytta en fil från en utdelad mapp i OMV(som är mountad i Ubuntu) till den lokala lagringen på Ubuntu VM:en.
Ex:

Mappar på Ubuntu:
/nfs/OMV_mount/nån_fil
/home/user/mapp/

Kommando:
cp /nfs/OMV_mount/nån_fil /home/user/mapp/

Min PC är enbart med i bilden för att det är där jag ansluter till mina VM:s för att styra dem. Istället för SSH skulle jag lika gärna kunna köra konsolen i VMWare.

Jag testade bara TCP med iperf3, port 5001.

Jag trodde också att det var switchen som dör, men jag kommer åt den via seriell konsol och den svarar på kommandon och listar statusar/statistik så den är ju inte fryst, den bara bara slutar transportera nätverkstrafiken. Det kan ju fortfarande vara switchen som är boven i dramat men jag tror inte det.

Det som pekar på att det är nåt i Server 1 som är boven i dramat är som sagt att det fungerar fint om jag gör liknande manövrar som exemplet ovan men där Ubuntu-VM:en är på server 2. Nätverkstrafiken blir likadan: Ubuntu -> switch -> pfSense -> switch -> OMV, men i det fallet så dör inte nätverket.

Jag får fundera på hur jag ska lösa tester utan att blanda in pfSense. Det blir ganska stora förändringar med tanke på VLAN-uppsättningen och frågan är om testerna blir missvisande.