Proxmox VE dela ut ZFS pool?

Trädvy Permalänk
Medlem
Plats
Karlskrona
Registrerad
Maj 2014

Proxmox VE dela ut ZFS pool?

Hej!

Kanske en dum fråga men vill kolla ändå;

Kan man i Proxmox dela ut en ZFS pool (som man skapat i Proxmox) via NFS/samba?
Alltså så att Proxmox-burken aggerar både Hypervisor och filserver?

Klient: ASUS Maximus VI Formula | Intel i7 4770K @ 4.5GHz | Corsair Vengeance Pro 4x4GB 2133MHz @ 2400MHz | Gigabyte GTX 970 G1 Gaming | A-Data 128GB M.2 | Samsung 850Pro 256GB | Intel 530 180GB | NZXT H630 | Cutom H20-loop ½"
Server: Supermicro X9SRL-F | Intel Xeon E5-2680v2 10c/20t | 8x8GB Samsung DDR3 ECC RDIMM | 2xLSI 9207-8i | 6x4TB WD Red RAID10 | 3x Intel 520 120GB | X-Case eXtra Value 424

Trädvy Permalänk
Medlem
Plats
plats
Registrerad
Maj 2006
Skrivet av BerraBing:

Hej!

Kanske en dum fråga men vill kolla ändå;

Kan man i Proxmox dela ut en ZFS pool (som man skapat i Proxmox) via NFS/samba?
Alltså så att Proxmox-burken aggerar både Hypervisor och filserver?

ja

Nätverksnörd

Trädvy Permalänk
Medlem
Registrerad
Nov 2011

Riktigt bra svar ovan.....
@BerraBing, kolla på https://www.nerdoncoffee.com/operating-systems/setting-up-a-f... mitt på sidan under rubriken "Sharing your ZFS datasets"

Trädvy Permalänk
Medlem
Plats
Karlskrona
Registrerad
Maj 2014
Skrivet av Xcorp:

Riktigt bra svar ovan.....
@BerraBing, kolla på https://www.nerdoncoffee.com/operating-systems/setting-up-a-f... mitt på sidan under rubriken "Sharing your ZFS datasets"

Stort tack för den länken! 😀
När jag testade att installera nfs-kernel igår så gick det inte. Ska prova att följa guiden du länkade till nu i veckan.
Återigen, stort tack!

Skickades från m.sweclockers.com

Klient: ASUS Maximus VI Formula | Intel i7 4770K @ 4.5GHz | Corsair Vengeance Pro 4x4GB 2133MHz @ 2400MHz | Gigabyte GTX 970 G1 Gaming | A-Data 128GB M.2 | Samsung 850Pro 256GB | Intel 530 180GB | NZXT H630 | Cutom H20-loop ½"
Server: Supermicro X9SRL-F | Intel Xeon E5-2680v2 10c/20t | 8x8GB Samsung DDR3 ECC RDIMM | 2xLSI 9207-8i | 6x4TB WD Red RAID10 | 3x Intel 520 120GB | X-Case eXtra Value 424

Trädvy Permalänk
Medlem
Plats
Helsingborg
Registrerad
Dec 2015

Du kan även skapa en lxc container som du kör bind mount till zpoolen. I containern delar du sedan ut storage via SMB och/eller NFS.

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Maj 2008

@berrabing som @jhws skriver så kan du köra en bindmount istället och dela ut via en lxc där du slänger in typ OMV eller dylikt. På så sätt är du lite säkrare med konfig som du vill flytta om du vill installera om PVE hosten.

(dock, om du kör shares i zfs så sparas de på dataseten, men användarhantering etc kan vara enklare)

Jag ska nog prova lite med att göra det genom en lxc och se om det blir någon prestandaförlust med det extra lagret.

Jag försöker gå emot att ha så lite som möjligt på pvehosten själv, cronjob-dumpar bara /etc/pve och lite annat till en annan disk nattetid så den kan ominstalleras från bare-metal enkelt.

En server här, några servrar där.

Trädvy Permalänk
Medlem
Plats
Karlskrona
Registrerad
Maj 2014
Skrivet av jhws:

Du kan även skapa en lxc container som du kör bind mount till zpoolen. I containern delar du sedan ut storage via SMB och/eller NFS.

Ja jag läste och såg det också. Frågan är bara vilket som är bäst, konf/filsäkerhet och prestandamässigt?

Skrivet av moron:

@berrabing som @jhws skriver så kan du köra en bindmount istället och dela ut via en lxc där du slänger in typ OMV eller dylikt. På så sätt är du lite säkrare med konfig som du vill flytta om du vill installera om PVE hosten.

(dock, om du kör shares i zfs så sparas de på dataseten, men användarhantering etc kan vara enklare)

Jag ska nog prova lite med att göra det genom en lxc och se om det blir någon prestandaförlust med det extra lagret.

Jag försöker gå emot att ha så lite som möjligt på pvehosten själv, cronjob-dumpar bara /etc/pve och lite annat till en annan disk nattetid så den kan ominstalleras från bare-metal enkelt.

Ja jag läste om detta också... men om jag kör bindmount växer den mounten ihop med att poolen växer då?
Vad är fördelen med bindmount? Läst lite om det men inte fått helt grepp om det...
Hade varit jättesnällt om du kunde testa lite gällande prestanda och så
Ska genomföra detta ikväll eller i morgon nämligen.

Men om man kör en container med tex OMV, blir allting rätt gällande filer på poolen då? alltså tänker på alla features ZFS har...

Har jag förstått det rätt att för att skapa en pool med bäst prestanda och säkerhet så ska jag köra (på pve-hosten);

zpool create -f -o ashift=12 main mirror sdb sdc mirror sdd sde mirror sdf sdg log sdh1 cache sdi1

Detta skapar väl en raid10 på mina 6 diskar plus skrivcache på en partition/disk och läscache på en annan partition/disk?
Har inte riktigt fått kläm på vad "ashift=12" gör?
edit1: Som jag förstår det så innebär "ashift=12" att man låser poolen till 4k-block? Och det vill man köra har jag förstått..?

Klient: ASUS Maximus VI Formula | Intel i7 4770K @ 4.5GHz | Corsair Vengeance Pro 4x4GB 2133MHz @ 2400MHz | Gigabyte GTX 970 G1 Gaming | A-Data 128GB M.2 | Samsung 850Pro 256GB | Intel 530 180GB | NZXT H630 | Cutom H20-loop ½"
Server: Supermicro X9SRL-F | Intel Xeon E5-2680v2 10c/20t | 8x8GB Samsung DDR3 ECC RDIMM | 2xLSI 9207-8i | 6x4TB WD Red RAID10 | 3x Intel 520 120GB | X-Case eXtra Value 424

Trädvy Permalänk
Medlem
Plats
Karlskrona
Registrerad
Maj 2014

fattar inte hur man ska bindmounta något i en container i pve?
ser ju inte tex /main/storage i containern?

Troligtvis är jag väldigt trög, men ändå?

Klient: ASUS Maximus VI Formula | Intel i7 4770K @ 4.5GHz | Corsair Vengeance Pro 4x4GB 2133MHz @ 2400MHz | Gigabyte GTX 970 G1 Gaming | A-Data 128GB M.2 | Samsung 850Pro 256GB | Intel 530 180GB | NZXT H630 | Cutom H20-loop ½"
Server: Supermicro X9SRL-F | Intel Xeon E5-2680v2 10c/20t | 8x8GB Samsung DDR3 ECC RDIMM | 2xLSI 9207-8i | 6x4TB WD Red RAID10 | 3x Intel 520 120GB | X-Case eXtra Value 424

Trädvy Permalänk
Medlem
Plats
Helsingborg
Registrerad
Dec 2015
Skrivet av BerraBing:

Ja jag läste och såg det också. Frågan är bara vilket som är bäst, konf/filsäkerhet och prestandamässigt?

Ja jag läste om detta också... men om jag kör bindmount växer den mounten ihop med att poolen växer då?
Vad är fördelen med bindmount? Läst lite om det men inte fått helt grepp om det...
Hade varit jättesnällt om du kunde testa lite gällande prestanda och så
Ska genomföra detta ikväll eller i morgon nämligen.

Men om man kör en container med tex OMV, blir allting rätt gällande filer på poolen då? alltså tänker på alla features ZFS har...

Har jag förstått det rätt att för att skapa en pool med bäst prestanda och säkerhet så ska jag köra (på pve-hosten);

zpool create -f -o ashift=12 main mirror sdb sdc mirror sdd sde mirror sdf sdg log sdh1 cache sdi1

Detta skapar väl en raid10 på mina 6 diskar plus skrivcache på en partition/disk och läscache på en annan partition/disk?
Har inte riktigt fått kläm på vad "ashift=12" gör?
edit1: Som jag förstår det så innebär "ashift=12" att man låser poolen till 4k-block? Och det vill man köra har jag förstått..?

Min personliga åsikt är att låta hosten köra zpoolen för bästa möjliga prestanda och nyttjande av storage.
Bindmount släpper igenom den gemensamma storagen till din container. Du kan t.ex. låta flera containers läsa och skriva mot samma ställe.
Om du skulle utöka poolen kommer containern att kunna nyttja det direkt när det finns tillgängligt. Förutsatt att du inte har begränsat på något annat sätt.

Koden för zpool create kommer mycket riktigt att skapa en raid10 med logg och cache.
Jag kör ett liknande upplägg med en raid10 dock utan logg och cache.
Min pool är primärt för lagring och jag är nöjd med prestanda jag får ut.
Hosten och containers kör jag på SSD.
Ashift 12 vill du använda på diskar med 4k sektorer.

Trädvy Permalänk
Medlem
Plats
Helsingborg
Registrerad
Dec 2015
Skrivet av BerraBing:

fattar inte hur man ska bindmounta något i en container i pve?
ser ju inte tex /main/storage i containern?

Troligtvis är jag väldigt trög, men ändå?

Det är ganska enkelt när man väl har gjort det.

Kolla denna guiden:
https://www.jamescoyle.net/how-to/2019-proxmox-4-x-bind-mount...

Trädvy Permalänk
Medlem
Plats
Karlskrona
Registrerad
Maj 2014
Skrivet av jhws:

Det är ganska enkelt när man väl har gjort det.

Kolla denna guiden:
https://www.jamescoyle.net/how-to/2019-proxmox-4-x-bind-mount...

Blir fortfarande inte klok på det, om jag gör som det står i guiden. skapar en fil i sharen via lan och sen kollar i pve-terminalen så ligger inte filen där?
alltså ls -l /main/storage så är det tomt där?

Klient: ASUS Maximus VI Formula | Intel i7 4770K @ 4.5GHz | Corsair Vengeance Pro 4x4GB 2133MHz @ 2400MHz | Gigabyte GTX 970 G1 Gaming | A-Data 128GB M.2 | Samsung 850Pro 256GB | Intel 530 180GB | NZXT H630 | Cutom H20-loop ½"
Server: Supermicro X9SRL-F | Intel Xeon E5-2680v2 10c/20t | 8x8GB Samsung DDR3 ECC RDIMM | 2xLSI 9207-8i | 6x4TB WD Red RAID10 | 3x Intel 520 120GB | X-Case eXtra Value 424

Trädvy Permalänk
Medlem
Plats
Karlskrona
Registrerad
Maj 2014

skulle uppskatta om någon kunde ge mig ett specifikt sätt att göra detta på?
vilken container?
vilka kommandon?
hur ska jag binda rätt för att filerna ska ligga vanligt på poolen i pve? (/main/storage)

lösningen nu känns inte bra...

Gärna en dummy-guide, för jag känner mig som en dummy just nu...
är van vid VT-d i esxi och detta är främmande mark för mig

Klient: ASUS Maximus VI Formula | Intel i7 4770K @ 4.5GHz | Corsair Vengeance Pro 4x4GB 2133MHz @ 2400MHz | Gigabyte GTX 970 G1 Gaming | A-Data 128GB M.2 | Samsung 850Pro 256GB | Intel 530 180GB | NZXT H630 | Cutom H20-loop ½"
Server: Supermicro X9SRL-F | Intel Xeon E5-2680v2 10c/20t | 8x8GB Samsung DDR3 ECC RDIMM | 2xLSI 9207-8i | 6x4TB WD Red RAID10 | 3x Intel 520 120GB | X-Case eXtra Value 424

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Maj 2008

inte hunnit testa OMV, men bör inte vara någon prestandaförlust.

För att mounta /main/storage i en lxc, t.ex. på /media/main inne i LXCn får du köra:

mp0: /main/storage,mp=/media/main

Då kommer den mappen vara mountad sen när du rebootat LXC'n. Exempel då... Nextcloud LXC;

cat /etc/pve/lxc/119.conf
arch: amd64
cores: 4
hostname: xx
memory: 4096
-> mp0: /vol1/nextcloud,mp=/var/ncdata
net0: name=eth0,bridge=vmbr0,hwaddr=xx,ip=dhcp,tag=40,type=veth
onboot: 1
ostype: ubuntu
rootfs: zfs_SSD-mirror_VM:subvol-119-disk-1,size=20G
swap: 4096

I LXC'n så är den mountad:
root@cat:~# lxc-attach -n 119
root@nextcloud:~# df -h
Filesystem Size Used Avail Use% Mounted on
SSD-mirror/VM/subvol-119-disk-1 20G 3.8G 17G 19% /
-> vol1/nextcloud 6.8T 383G 6.4T 6% /var/ncdata
none 492K 0 492K 0% /dev
tmpfs 48G 0 48G 0% /dev/shm
tmpfs 48G 105M 48G 1% /run
tmpfs 5.0M 0 5.0M 0% /run/lock
tmpfs 48G 0 48G 0% /sys/fs/cgroup

om jag skriver filer så läggs det där precis som vanligt:

root@nextcloud:~# touch /var/ncdata/test_fil
root@nextcloud:~# exit
exit
root@cat:~# ls -lvh /vol1/nextcloud/test_fil
-rw-r--r-- 1 root root 0 Feb 25 07:51 /vol1/nextcloud/test_fil

En server här, några servrar där.

Trädvy Permalänk
Medlem
Plats
Karlskrona
Registrerad
Maj 2014
Skrivet av moron:

inte hunnit testa OMV, men bör inte vara någon prestandaförlust.

För att mounta /main/storage i en lxc, t.ex. på /media/main inne i LXCn får du köra:

mp0: /main/storage,mp=/media/main

Då kommer den mappen vara mountad sen när du rebootat LXC'n. Exempel då... Nextcloud LXC;

cat /etc/pve/lxc/119.conf
arch: amd64
cores: 4
hostname: xx
memory: 4096
-> mp0: /vol1/nextcloud,mp=/var/ncdata
net0: name=eth0,bridge=vmbr0,hwaddr=xx,ip=dhcp,tag=40,type=veth
onboot: 1
ostype: ubuntu
rootfs: zfs_SSD-mirror_VM:subvol-119-disk-1,size=20G
swap: 4096

I LXC'n så är den mountad:
root@cat:~# lxc-attach -n 119
root@nextcloud:~# df -h
Filesystem Size Used Avail Use% Mounted on
SSD-mirror/VM/subvol-119-disk-1 20G 3.8G 17G 19% /
-> vol1/nextcloud 6.8T 383G 6.4T 6% /var/ncdata
none 492K 0 492K 0% /dev
tmpfs 48G 0 48G 0% /dev/shm
tmpfs 48G 105M 48G 1% /run
tmpfs 5.0M 0 5.0M 0% /run/lock
tmpfs 48G 0 48G 0% /sys/fs/cgroup

om jag skriver filer så läggs det där precis som vanligt:

root@nextcloud:~# touch /var/ncdata/test_fil
root@nextcloud:~# exit
exit
root@cat:~# ls -lvh /vol1/nextcloud/test_fil
-rw-r--r-- 1 root root 0 Feb 25 07:51 /vol1/nextcloud/test_fil

Tack för ditt svar! Allt med pve är nytt för mig och jag har använt esxi i väldigt många år så detta är väldigt nytt för mig.
Testade nu igen med bindmount och nu funkade det plöstligt..! Var kan någon öl för mycket igår... Tack för hjälpen!

Iom att jag inte fick igång bindmount igår kväll så körde jag igång filöverföring mot poolen i pve och samba, bara för att få över filerna.

Klient: ASUS Maximus VI Formula | Intel i7 4770K @ 4.5GHz | Corsair Vengeance Pro 4x4GB 2133MHz @ 2400MHz | Gigabyte GTX 970 G1 Gaming | A-Data 128GB M.2 | Samsung 850Pro 256GB | Intel 530 180GB | NZXT H630 | Cutom H20-loop ½"
Server: Supermicro X9SRL-F | Intel Xeon E5-2680v2 10c/20t | 8x8GB Samsung DDR3 ECC RDIMM | 2xLSI 9207-8i | 6x4TB WD Red RAID10 | 3x Intel 520 120GB | X-Case eXtra Value 424

Trädvy Permalänk
Medlem
Plats
Karlskrona
Registrerad
Maj 2014

Skapade igår min pool med följande;

zpool create -f -o ashift=12 main mirror sdb sdc mirror sdd sde mirror sdf sdg log sdh1 cache sdi1 zfs set compression=lz4 main zfs set primarycache=none main zfs set secondarycache=all main zfs set atime=off main zfs create main/storage zfs create main/iso zfs create main/vms zfs create main/containers zfs create main/backups

Men den använder ändå 33GB av RAM nu vid filöverföring och inga vm/ct igång?
Ska inte ovan göra att RAM inte används utan ssd-cachen i stället?

root@pve:/main/storage# zpool iostat -v capacity operations bandwidth pool alloc free read write read write ---------- ----- ----- ----- ----- ----- ----- main 3.72T 7.16T 5 1.51K 65.5K 164M mirror 1.23T 2.40T 1 510 19.6K 54.3M sdb - - 0 254 9.94K 27.1M sdc - - 0 255 9.66K 27.1M mirror 1.23T 2.40T 2 510 23.4K 54.3M sdd - - 1 255 11.9K 27.2M sde - - 1 255 11.6K 27.2M mirror 1.26T 2.36T 1 523 22.4K 55.8M sdh - - 1 262 10.8K 27.9M sdi - - 0 261 11.6K 27.9M logs - - - - - - sdg1 128K 53.5G 0 1 29 119K cache - - - - - - sdf1 36.7G 2.34G 0 360 1.35K 44.4M ---------- ----- ----- ----- ----- ----- -----

Ser inte ut som att log/skrivcachen används nu när jag skriver till poolen?

Klient: ASUS Maximus VI Formula | Intel i7 4770K @ 4.5GHz | Corsair Vengeance Pro 4x4GB 2133MHz @ 2400MHz | Gigabyte GTX 970 G1 Gaming | A-Data 128GB M.2 | Samsung 850Pro 256GB | Intel 530 180GB | NZXT H630 | Cutom H20-loop ½"
Server: Supermicro X9SRL-F | Intel Xeon E5-2680v2 10c/20t | 8x8GB Samsung DDR3 ECC RDIMM | 2xLSI 9207-8i | 6x4TB WD Red RAID10 | 3x Intel 520 120GB | X-Case eXtra Value 424

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Maj 2008

@BerraBing: pve kommer med vissa förinställda zfs settings, bl.a. är arc high water mark satt till 50% av RAM - och zfs kommer använda/reservera så mycket RAM det _kan_. Om du skulle behöva använda RAM till annat (containers) så kommer arc size minska.

Hur skriver du data? async eller sync?

EDIT: Tyvärr är det lite mer komplicerat än att bara slänga in cache-diskar och allt går snabbare med zfs...

En server här, några servrar där.

Trädvy Permalänk
Medlem
Plats
Karlskrona
Registrerad
Maj 2014
Skrivet av moron:

@BerraBing: pve kommer med vissa förinställda zfs settings, bl.a. är arc high water mark satt till 50% av RAM - och zfs kommer använda/reservera så mycket RAM det _kan_. Om du skulle behöva använda RAM till annat (containers) så kommer arc size minska.

Hur skriver du data? async eller sync?

EDIT: Tyvärr är det lite mer komplicerat än att bara slänga in cache-diskar och allt går snabbare med zfs...

Tack!
Läste mig till detta för en stund sedan.

Erm, hur vet jag hur jag skriver data?
Misstänker att det är async eftersom jag inte ändra något gällande det?

Jaha?
Hur gör man det rätt då gällande cache-diskar?
För som jag förstår det iom ovan "iostat" så används inte log-device alls nu?

Klient: ASUS Maximus VI Formula | Intel i7 4770K @ 4.5GHz | Corsair Vengeance Pro 4x4GB 2133MHz @ 2400MHz | Gigabyte GTX 970 G1 Gaming | A-Data 128GB M.2 | Samsung 850Pro 256GB | Intel 530 180GB | NZXT H630 | Cutom H20-loop ½"
Server: Supermicro X9SRL-F | Intel Xeon E5-2680v2 10c/20t | 8x8GB Samsung DDR3 ECC RDIMM | 2xLSI 9207-8i | 6x4TB WD Red RAID10 | 3x Intel 520 120GB | X-Case eXtra Value 424

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Maj 2008

@BerraBing: Är det en mountad typ NFS storage eller vart skriver du datan ifrån? SLOG används endast vid sync-writes - samt skriver ut ändringar var 5'e sekund. Dock kommer den bara "spara" skrivningar som är mindre än typ 64KB(?) resten sparas inte utan använder filpointers (typ...ehm).

Nu är det snart Bajen-match så jag har tagit nån bira...kan ha fel...

En server här, några servrar där.

Trädvy Permalänk
Medlem
Plats
Karlskrona
Registrerad
Maj 2014
Skrivet av moron:

@BerraBing: Är det en mountad typ NFS storage eller vart skriver du datan ifrån? SLOG används endast vid sync-writes - samt skriver ut ändringar var 5'e sekund. Dock kommer den bara "spara" skrivningar som är mindre än typ 64KB(?) resten sparas inte utan använder filpointers (typ...ehm).

Nu är det snart Bajen-match så jag har tagit nån bira...kan ha fel...

Det jag skriver till nu är en smb-share. Alltså på pve har jag poolen main med två cache-ssd, som är utdelad via smb till min klient som jag överför filerna ifrån till pve-hostens smb-share.
Är det async eller sync skrivningar?

hmm fattade inte riktigt det med "mindre än typ 64KB"?

Haha har blivit någon bira här också

Klient: ASUS Maximus VI Formula | Intel i7 4770K @ 4.5GHz | Corsair Vengeance Pro 4x4GB 2133MHz @ 2400MHz | Gigabyte GTX 970 G1 Gaming | A-Data 128GB M.2 | Samsung 850Pro 256GB | Intel 530 180GB | NZXT H630 | Cutom H20-loop ½"
Server: Supermicro X9SRL-F | Intel Xeon E5-2680v2 10c/20t | 8x8GB Samsung DDR3 ECC RDIMM | 2xLSI 9207-8i | 6x4TB WD Red RAID10 | 3x Intel 520 120GB | X-Case eXtra Value 424

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Maj 2008

Ok, samba verkar per default vara async(?). Om du vill prova kan du sätta det till sync i nån samba-config.

Det jag menar med att det är små filer är att väldigt lite faktiskt sparas på en slog.

En server här, några servrar där.

Trädvy Permalänk
Medlem
Plats
Karlskrona
Registrerad
Maj 2014
Skrivet av moron:

Ok, samba verkar per default vara async(?). Om du vill prova kan du sätta det till sync i nån samba-config.

Det jag menar med att det är små filer är att väldigt lite faktiskt sparas på en slog.

hmm kan vara så att det är async, har inte kollat upp det...
Jaså? då har jag missförstått det här med slog helt och hållet. :S trodde all skriv-trafik gick genom slogen?

Klient: ASUS Maximus VI Formula | Intel i7 4770K @ 4.5GHz | Corsair Vengeance Pro 4x4GB 2133MHz @ 2400MHz | Gigabyte GTX 970 G1 Gaming | A-Data 128GB M.2 | Samsung 850Pro 256GB | Intel 530 180GB | NZXT H630 | Cutom H20-loop ½"
Server: Supermicro X9SRL-F | Intel Xeon E5-2680v2 10c/20t | 8x8GB Samsung DDR3 ECC RDIMM | 2xLSI 9207-8i | 6x4TB WD Red RAID10 | 3x Intel 520 120GB | X-Case eXtra Value 424

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Maj 2008

@BerraBing: Nja, så förstår jag det iaf... async writes trycks bara till minnet ändå, så det är snabbare.

En server här, några servrar där.

Trädvy Permalänk
Medlem
Plats
Karlskrona
Registrerad
Maj 2014
Skrivet av moron:

@BerraBing: Nja, så förstår jag det iaf... async writes trycks bara till minnet ändå, så det är snabbare.

fan, det suger ju..! om det är så

ska testa lite mer när överföringen är klar här...

Klient: ASUS Maximus VI Formula | Intel i7 4770K @ 4.5GHz | Corsair Vengeance Pro 4x4GB 2133MHz @ 2400MHz | Gigabyte GTX 970 G1 Gaming | A-Data 128GB M.2 | Samsung 850Pro 256GB | Intel 530 180GB | NZXT H630 | Cutom H20-loop ½"
Server: Supermicro X9SRL-F | Intel Xeon E5-2680v2 10c/20t | 8x8GB Samsung DDR3 ECC RDIMM | 2xLSI 9207-8i | 6x4TB WD Red RAID10 | 3x Intel 520 120GB | X-Case eXtra Value 424

Trädvy Permalänk
Medlem
Plats
plats
Registrerad
Maj 2006
Skrivet av BerraBing:

fattar inte hur man ska bindmounta något i en container i pve?
ser ju inte tex /main/storage i containern?

Troligtvis är jag väldigt trög, men ändå?

kör en mountpoint ? du editerar "ID".conf filen i /etc/pve/lxc

t.ex:
pve:/etc/pve/lxc# cat 107.conf
arch: amd64
cores: 4
hostname: mediaserver
memory: 512
mp0: /tank/media,mp=/tank/media
net0: name=eth0,bridge=vmbr0,gw=1xxxxx,hwaddr=62:xxx,ip=1xxxxx,type=veth
ostype: debian
rootfs: data:subvol-107-disk-1,size=8G
swap: 512

Nätverksnörd

Trädvy Permalänk
Medlem
Plats
Karlskrona
Registrerad
Maj 2014
Skrivet av moire:

kör en mountpoint ? du editerar "ID".conf filen i /etc/pve/lxc

t.ex:
pve:/etc/pve/lxc# cat 107.conf
arch: amd64
cores: 4
hostname: mediaserver
memory: 512
mp0: /tank/media,mp=/tank/media
net0: name=eth0,bridge=vmbr0,gw=1xxxxx,hwaddr=62:xxx,ip=1xxxxx,type=veth
ostype: debian
rootfs: data:subvol-107-disk-1,size=8G
swap: 512

Tack för ditt svar!
Som du ser i ett tidigare svar här ovan så fick jag hjälp med detta i helgen och då funkade det

Klient: ASUS Maximus VI Formula | Intel i7 4770K @ 4.5GHz | Corsair Vengeance Pro 4x4GB 2133MHz @ 2400MHz | Gigabyte GTX 970 G1 Gaming | A-Data 128GB M.2 | Samsung 850Pro 256GB | Intel 530 180GB | NZXT H630 | Cutom H20-loop ½"
Server: Supermicro X9SRL-F | Intel Xeon E5-2680v2 10c/20t | 8x8GB Samsung DDR3 ECC RDIMM | 2xLSI 9207-8i | 6x4TB WD Red RAID10 | 3x Intel 520 120GB | X-Case eXtra Value 424

Trädvy Permalänk
Medlem
Plats
Karlskrona
Registrerad
Maj 2014

Vet inte om jag har ställt in något fel eller om det helt enkelt är så att ZFS inte funkar så som jag hoppas...

Min LOG/skrivcache verkar inte användas iaf.
Skulle vilja testa att ta bort LOGen, partitionera om den (för att se om det är där jag har gjort fel), och sen lägga till den igen men jag är osäker på om jag vågar göra det utan att sabba poolen/datan..?

Väntar på ett nytt HBA för att kunna göra en backup på all data.
Kopplar jag in "backup"-diskarna på kontrollern som OS-disken sitter på så vill inte PVE starta av någon anledning...

Klient: ASUS Maximus VI Formula | Intel i7 4770K @ 4.5GHz | Corsair Vengeance Pro 4x4GB 2133MHz @ 2400MHz | Gigabyte GTX 970 G1 Gaming | A-Data 128GB M.2 | Samsung 850Pro 256GB | Intel 530 180GB | NZXT H630 | Cutom H20-loop ½"
Server: Supermicro X9SRL-F | Intel Xeon E5-2680v2 10c/20t | 8x8GB Samsung DDR3 ECC RDIMM | 2xLSI 9207-8i | 6x4TB WD Red RAID10 | 3x Intel 520 120GB | X-Case eXtra Value 424

Trädvy Permalänk
Medlem
Plats
plats
Registrerad
Maj 2006
Skrivet av BerraBing:

Vet inte om jag har ställt in något fel eller om det helt enkelt är så att ZFS inte funkar så som jag hoppas...

Min LOG/skrivcache verkar inte användas iaf.
Skulle vilja testa att ta bort LOGen, partitionera om den (för att se om det är där jag har gjort fel), och sen lägga till den igen men jag är osäker på om jag vågar göra det utan att sabba poolen/datan..?

Väntar på ett nytt HBA för att kunna göra en backup på all data.
Kopplar jag in "backup"-diskarna på kontrollern som OS-disken sitter på så vill inte PVE starta av någon anledning...

Du kör väl async på poolen?

Skickades från m.sweclockers.com

Nätverksnörd

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Maj 2008

@BerraBing: Du ska kunna ta bort log/cache utan fara.

Låter lustigt att det inte bootar, vad får du för prompt?

En server här, några servrar där.

Trädvy Permalänk
Medlem
Plats
Karlskrona
Registrerad
Maj 2014

Ursäkta sent svar, livet ni vet...

Skrivet av moire:

Du kör väl async på poolen?

Skickades från m.sweclockers.com

Erm, hur kollar jag det?
Jag har inte satt något manuellt gällande det iaf...
Edit: hittade kommandot, båda poolerna står som "standard"?

Skrivet av moron:

@BerraBing: Du ska kunna ta bort log/cache utan fara.

Låter lustigt att det inte bootar, vad får du för prompt?

Okej, nu har jag fått kontrollerkorten så jag är i slutskedet med att köra backup på all data ändå.
Så jag tar nog bort main-poolen och gör om den med "by-id" ändå, ska testa min fundering med log/cache samtidigt.

Kommer inte ihåg exakt hur det var nu vid boot, men har för mig att den bara sa typ "waiting on a job to finish"?

Klient: ASUS Maximus VI Formula | Intel i7 4770K @ 4.5GHz | Corsair Vengeance Pro 4x4GB 2133MHz @ 2400MHz | Gigabyte GTX 970 G1 Gaming | A-Data 128GB M.2 | Samsung 850Pro 256GB | Intel 530 180GB | NZXT H630 | Cutom H20-loop ½"
Server: Supermicro X9SRL-F | Intel Xeon E5-2680v2 10c/20t | 8x8GB Samsung DDR3 ECC RDIMM | 2xLSI 9207-8i | 6x4TB WD Red RAID10 | 3x Intel 520 120GB | X-Case eXtra Value 424

Trädvy Permalänk
Medlem
Plats
Karlskrona
Registrerad
Maj 2014

Hade varit till stor hjälp om någon kunde skriva vilka inställningar jag ska köra med för högsta prestanda..?

Det jag kör med nu är:

zpool create -f ashift=12 main mirror /dev/disk/by-id/* /dev/disk/by-id/* mirror /dev/disk/by-id/* /dev/disk/by-id/* mirror /dev/disk/by-id/* /dev/disk/by-id/* log /dev/disk/by-id/* cache /dev/disk/by-id/* zfs set compression=lz4 main zfs set primarycache=none main zfs set secondarycache=all main zfs set atime=off main zfs_arc_max=8589934592

Något fel eller mer jag ska köra med?

Klient: ASUS Maximus VI Formula | Intel i7 4770K @ 4.5GHz | Corsair Vengeance Pro 4x4GB 2133MHz @ 2400MHz | Gigabyte GTX 970 G1 Gaming | A-Data 128GB M.2 | Samsung 850Pro 256GB | Intel 530 180GB | NZXT H630 | Cutom H20-loop ½"
Server: Supermicro X9SRL-F | Intel Xeon E5-2680v2 10c/20t | 8x8GB Samsung DDR3 ECC RDIMM | 2xLSI 9207-8i | 6x4TB WD Red RAID10 | 3x Intel 520 120GB | X-Case eXtra Value 424