"Arkitektur" på lagring.

Jo, jag tappar halva utrymmet med RAID1, men väljer att betala för det för att skydda mot just enskilt diskhaveri som du säger.

Vad som är bästa angående placering av VMs beror på vilken typ av miljö och vad för krav som finns. Hemma, absolut kör jag på samma disk, har i princip noll prestandabehov för just disk hemma samt att dom backas till lagringspoolen. Krashar OS-disken får jag installera om och återställa från backup. Har tankar på att köpa en till OS-disk som lite säkerhet mot disk-krash.

Ett förslag från mig;
OS kör du på ZFS (proxmox installer gör detta default om jag inte minns helt fel, annars finns det som val i den)
Lagring kör du på en ZFS RAIDZ med 4 diskar, detta motsvarar RAID5 det ger dig ca 10TB utrymme och du kan tappa en disk utan att förlora data.

Vill du ha upp läsprestanda på lagringen så sätter du RED disken som en read-cache på lagringspoolen.
Vill du sova lite bättre på natten så kör du båda SSDs i ZFS mirror för proxmox (ganska säker på att installern hanterar detta också, annars är det lätt att lägga till i efterhand)
Läsprestanda kommer inte vara ett problem om det i första hand handlar om en eller några få strömmar från plex, detta är i princip sekventiell läsning och dina diskar kommer mer än väl fylla en Gbit lina.

Varför kör jag själv inte ZFS för min lagring?
När jag satte upp poolen för 10+ år sedan så hade ZFS inte stöd för att ta bort diskar ur poolen (egentligen vdevs, men håller det enkelt), samt att alla diskar du speglar måste vara lika stora om du kör mirror/raidz (zfs motsvarighet till RAID1/RAID5)
BTRFS har stöd för att lägga till/ta bort diskar hur som helst och inga krav på att diskarna måste vara lika stora för att kunna nyttja allt utrymme.

root@vm2:~# df -h /files/
Filesystem      Size  Used Avail Use% Mounted on
/dev/sdh         31T   24T  7.0T  77% /files
root@vm2:~# btrfs filesystem show /files/
Label: none  uuid: 8374a738-91fd-4120-afad-5fb506e15642
        Total devices 10 FS bytes used 23.03TiB
        devid    1 size 7.28TiB used 5.90TiB path /dev/sdh
        devid    2 size 9.10TiB used 7.73TiB path /dev/sdb
        devid    3 size 3.64TiB used 2.26TiB path /dev/sdj
        devid    4 size 2.73TiB used 1.36TiB path /dev/sdi
        devid    5 size 7.28TiB used 5.92TiB path /dev/sdd
        devid    6 size 3.64TiB used 2.27TiB path /dev/sdf
        devid    7 size 3.64TiB used 2.28TiB path /dev/sda
        devid    8 size 2.73TiB used 1.37TiB path /dev/sde
        devid    9 size 7.28TiB used 5.92TiB path /dev/sdc
        devid   10 size 12.73TiB used 11.38TiB path /dev/sdg

Inser nu också att jag ljög förut, den minsta disken jag har kvar är 3TB

Idag har ZFS stöd för att ta bort diskar/vdevs, men kan fortfarande inte blanda storlekar hej vilt, och det går inte heller att köra mirror på ett ojämnt antal diskar (det går men du kommer få 3 kopior då).

Lite varningar
Du vill INTE köra något annat än RAID1 eller RAID10 på BTRFS, RAID5/6 är trasigt!
Oavsett om du väljer att köra ZFS/BTRFS eller något annat COW-filsystem, se till att ALDRIG fylla det helt, det blir jobbigt

Snapshots tar inget utrymme i sig. Det är först när du tar bort eller ändrar en fil som den börjar ta plats i snapshottet så att säga, iom att den fortfarande ligger oförändrad i ditt snapshot.

Har du nerladdade youtube-videos eller liknande som du kontinuerligt tar bort och laddar ner nya är det dumt att ta snapshots av dem. Nöj dig med att göra det på saker du själv gjort - foton, projekt osv som du antagligen vill ha kvar "för alltid".

Skippa SLOG. Det mest ökar risken för problem och gör antagligen ingen större skillnad för en hemmaserver ändå. Jag tror det är bättre du försöker lägga VM:ar, databaser och andra prestandakänsliga/prestandaintensiva saker på dina SSD:er direkt istället.