Forum Datorer och system Server Tråd Inlägg

Proxmox VE dela ut ZFS pool?

1 2
Skriv svar
Permalänk
Medlem
●

Proxmox VE dela ut ZFS pool?

Hej!

Kanske en dum fråga men vill kolla ändå;

Kan man i Proxmox dela ut en ZFS pool (som man skapat i Proxmox) via NFS/samba?
Alltså så att Proxmox-burken aggerar både Hypervisor och filserver?

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av BerraBing:

Hej!

Kanske en dum fråga men vill kolla ändå;

Kan man i Proxmox dela ut en ZFS pool (som man skapat i Proxmox) via NFS/samba?
Alltså så att Proxmox-burken aggerar både Hypervisor och filserver?

Gå till inlägget

ja

Visa signatur

Nätverksnörd

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Riktigt bra svar ovan.....
@BerraBing, kolla på https://www.nerdoncoffee.com/operating-systems/setting-up-a-f... mitt på sidan under rubriken "Sharing your ZFS datasets"

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Xcorp:

Riktigt bra svar ovan.....
@BerraBing, kolla på https://www.nerdoncoffee.com/operating-systems/setting-up-a-f... mitt på sidan under rubriken "Sharing your ZFS datasets"

Gå till inlägget

Stort tack för den länken! 😀
När jag testade att installera nfs-kernel igår så gick det inte. Ska prova att följa guiden du länkade till nu i veckan.
Återigen, stort tack!

Skickades från m.sweclockers.com

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Redigera
Citera flera Citera
Permalänk
Medlem
●

Du kan även skapa en lxc container som du kör bind mount till zpoolen. I containern delar du sedan ut storage via SMB och/eller NFS.

Redigera
Citera flera Citera
Permalänk
Medlem
●

@berrabing som @jhws skriver så kan du köra en bindmount istället och dela ut via en lxc där du slänger in typ OMV eller dylikt. På så sätt är du lite säkrare med konfig som du vill flytta om du vill installera om PVE hosten.

(dock, om du kör shares i zfs så sparas de på dataseten, men användarhantering etc kan vara enklare)

Jag ska nog prova lite med att göra det genom en lxc och se om det blir någon prestandaförlust med det extra lagret.

Jag försöker gå emot att ha så lite som möjligt på pvehosten själv, cronjob-dumpar bara /etc/pve och lite annat till en annan disk nattetid så den kan ominstalleras från bare-metal enkelt.

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av jhws:

Du kan även skapa en lxc container som du kör bind mount till zpoolen. I containern delar du sedan ut storage via SMB och/eller NFS.

Gå till inlägget

Ja jag läste och såg det också. Frågan är bara vilket som är bäst, konf/filsäkerhet och prestandamässigt?

Skrivet av moron:

@berrabing som @jhws skriver så kan du köra en bindmount istället och dela ut via en lxc där du slänger in typ OMV eller dylikt. På så sätt är du lite säkrare med konfig som du vill flytta om du vill installera om PVE hosten.

(dock, om du kör shares i zfs så sparas de på dataseten, men användarhantering etc kan vara enklare)

Jag ska nog prova lite med att göra det genom en lxc och se om det blir någon prestandaförlust med det extra lagret.

Jag försöker gå emot att ha så lite som möjligt på pvehosten själv, cronjob-dumpar bara /etc/pve och lite annat till en annan disk nattetid så den kan ominstalleras från bare-metal enkelt.

Gå till inlägget

Ja jag läste om detta också... men om jag kör bindmount växer den mounten ihop med att poolen växer då?
Vad är fördelen med bindmount? Läst lite om det men inte fått helt grepp om det...
Hade varit jättesnällt om du kunde testa lite gällande prestanda och så
Ska genomföra detta ikväll eller i morgon nämligen.

Men om man kör en container med tex OMV, blir allting rätt gällande filer på poolen då? alltså tänker på alla features ZFS har...

Har jag förstått det rätt att för att skapa en pool med bäst prestanda och säkerhet så ska jag köra (på pve-hosten);

 zpool create -f -o ashift=12 main mirror sdb sdc mirror sdd sde mirror sdf sdg log sdh1 cache sdi1

Detta skapar väl en raid10 på mina 6 diskar plus skrivcache på en partition/disk och läscache på en annan partition/disk?
Har inte riktigt fått kläm på vad "ashift=12" gör?
edit1: Som jag förstår det så innebär "ashift=12" att man låser poolen till 4k-block? Och det vill man köra har jag förstått..?

Senast redigerat
Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Redigera
Citera flera Citera
Permalänk
Medlem
●

fattar inte hur man ska bindmounta något i en container i pve?
ser ju inte tex /main/storage i containern?

Troligtvis är jag väldigt trög, men ändå?

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av BerraBing:

Ja jag läste och såg det också. Frågan är bara vilket som är bäst, konf/filsäkerhet och prestandamässigt?

Ja jag läste om detta också... men om jag kör bindmount växer den mounten ihop med att poolen växer då?
Vad är fördelen med bindmount? Läst lite om det men inte fått helt grepp om det...
Hade varit jättesnällt om du kunde testa lite gällande prestanda och så
Ska genomföra detta ikväll eller i morgon nämligen.

Men om man kör en container med tex OMV, blir allting rätt gällande filer på poolen då? alltså tänker på alla features ZFS har...

Har jag förstått det rätt att för att skapa en pool med bäst prestanda och säkerhet så ska jag köra (på pve-hosten);

 zpool create -f -o ashift=12 main mirror sdb sdc mirror sdd sde mirror sdf sdg log sdh1 cache sdi1

Detta skapar väl en raid10 på mina 6 diskar plus skrivcache på en partition/disk och läscache på en annan partition/disk?
Har inte riktigt fått kläm på vad "ashift=12" gör?
edit1: Som jag förstår det så innebär "ashift=12" att man låser poolen till 4k-block? Och det vill man köra har jag förstått..?

Gå till inlägget

Min personliga åsikt är att låta hosten köra zpoolen för bästa möjliga prestanda och nyttjande av storage.
Bindmount släpper igenom den gemensamma storagen till din container. Du kan t.ex. låta flera containers läsa och skriva mot samma ställe.
Om du skulle utöka poolen kommer containern att kunna nyttja det direkt när det finns tillgängligt. Förutsatt att du inte har begränsat på något annat sätt.

Koden för zpool create kommer mycket riktigt att skapa en raid10 med logg och cache.
Jag kör ett liknande upplägg med en raid10 dock utan logg och cache.
Min pool är primärt för lagring och jag är nöjd med prestanda jag får ut.
Hosten och containers kör jag på SSD.
Ashift 12 vill du använda på diskar med 4k sektorer.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av BerraBing:

fattar inte hur man ska bindmounta något i en container i pve?
ser ju inte tex /main/storage i containern?

Troligtvis är jag väldigt trög, men ändå?

Gå till inlägget

Det är ganska enkelt när man väl har gjort det.

Kolla denna guiden:
https://www.jamescoyle.net/how-to/2019-proxmox-4-x-bind-mount...

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av jhws:

Det är ganska enkelt när man väl har gjort det.

Kolla denna guiden:
https://www.jamescoyle.net/how-to/2019-proxmox-4-x-bind-mount...

Gå till inlägget

Blir fortfarande inte klok på det, om jag gör som det står i guiden. skapar en fil i sharen via lan och sen kollar i pve-terminalen så ligger inte filen där?
alltså ls -l /main/storage så är det tomt där?

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Redigera
Citera flera Citera
Permalänk
Medlem
●

skulle uppskatta om någon kunde ge mig ett specifikt sätt att göra detta på?
vilken container?
vilka kommandon?
hur ska jag binda rätt för att filerna ska ligga vanligt på poolen i pve? (/main/storage)

lösningen nu känns inte bra...

Gärna en dummy-guide, för jag känner mig som en dummy just nu...
är van vid VT-d i esxi och detta är främmande mark för mig

Senast redigerat
Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Redigera
Citera flera Citera
Permalänk
Medlem
●

inte hunnit testa OMV, men bör inte vara någon prestandaförlust.

För att mounta /main/storage i en lxc, t.ex. på /media/main inne i LXCn får du köra:

mp0: /main/storage,mp=/media/main

Då kommer den mappen vara mountad sen när du rebootat LXC'n. Exempel då... Nextcloud LXC;

cat /etc/pve/lxc/119.conf
arch: amd64
cores: 4
hostname: xx
memory: 4096
-> mp0: /vol1/nextcloud,mp=/var/ncdata
net0: name=eth0,bridge=vmbr0,hwaddr=xx,ip=dhcp,tag=40,type=veth
onboot: 1
ostype: ubuntu
rootfs: zfs_SSD-mirror_VM:subvol-119-disk-1,size=20G
swap: 4096

I LXC'n så är den mountad:
root@cat:~# lxc-attach -n 119
root@nextcloud:~# df -h
Filesystem Size Used Avail Use% Mounted on
SSD-mirror/VM/subvol-119-disk-1 20G 3.8G 17G 19% /
-> vol1/nextcloud 6.8T 383G 6.4T 6% /var/ncdata
none 492K 0 492K 0% /dev
tmpfs 48G 0 48G 0% /dev/shm
tmpfs 48G 105M 48G 1% /run
tmpfs 5.0M 0 5.0M 0% /run/lock
tmpfs 48G 0 48G 0% /sys/fs/cgroup

om jag skriver filer så läggs det där precis som vanligt:

root@nextcloud:~# touch /var/ncdata/test_fil
root@nextcloud:~# exit
exit
root@cat:~# ls -lvh /vol1/nextcloud/test_fil
-rw-r--r-- 1 root root 0 Feb 25 07:51 /vol1/nextcloud/test_fil

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av moron:

inte hunnit testa OMV, men bör inte vara någon prestandaförlust.

För att mounta /main/storage i en lxc, t.ex. på /media/main inne i LXCn får du köra:

mp0: /main/storage,mp=/media/main

Då kommer den mappen vara mountad sen när du rebootat LXC'n. Exempel då... Nextcloud LXC;

cat /etc/pve/lxc/119.conf
arch: amd64
cores: 4
hostname: xx
memory: 4096
-> mp0: /vol1/nextcloud,mp=/var/ncdata
net0: name=eth0,bridge=vmbr0,hwaddr=xx,ip=dhcp,tag=40,type=veth
onboot: 1
ostype: ubuntu
rootfs: zfs_SSD-mirror_VM:subvol-119-disk-1,size=20G
swap: 4096

I LXC'n så är den mountad:
root@cat:~# lxc-attach -n 119
root@nextcloud:~# df -h
Filesystem Size Used Avail Use% Mounted on
SSD-mirror/VM/subvol-119-disk-1 20G 3.8G 17G 19% /
-> vol1/nextcloud 6.8T 383G 6.4T 6% /var/ncdata
none 492K 0 492K 0% /dev
tmpfs 48G 0 48G 0% /dev/shm
tmpfs 48G 105M 48G 1% /run
tmpfs 5.0M 0 5.0M 0% /run/lock
tmpfs 48G 0 48G 0% /sys/fs/cgroup

om jag skriver filer så läggs det där precis som vanligt:

root@nextcloud:~# touch /var/ncdata/test_fil
root@nextcloud:~# exit
exit
root@cat:~# ls -lvh /vol1/nextcloud/test_fil
-rw-r--r-- 1 root root 0 Feb 25 07:51 /vol1/nextcloud/test_fil

Gå till inlägget

Tack för ditt svar! Allt med pve är nytt för mig och jag har använt esxi i väldigt många år så detta är väldigt nytt för mig.
Testade nu igen med bindmount och nu funkade det plöstligt..! Var kan någon öl för mycket igår... Tack för hjälpen!

Iom att jag inte fick igång bindmount igår kväll så körde jag igång filöverföring mot poolen i pve och samba, bara för att få över filerna.

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Redigera
Citera flera Citera
Permalänk
Medlem
●

Skapade igår min pool med följande;

zpool create -f -o ashift=12 main mirror sdb sdc mirror sdd sde mirror sdf sdg log sdh1 cache sdi1
zfs set compression=lz4 main
zfs set primarycache=none main
zfs set secondarycache=all main
zfs set atime=off main
zfs create main/storage
zfs create main/iso
zfs create main/vms
zfs create main/containers
zfs create main/backups

Men den använder ändå 33GB av RAM nu vid filöverföring och inga vm/ct igång?
Ska inte ovan göra att RAM inte används utan ssd-cachen i stället?

root@pve:/main/storage# zpool iostat -v
              capacity     operations     bandwidth
pool        alloc   free   read  write   read  write
----------  -----  -----  -----  -----  -----  -----
main        3.72T  7.16T      5  1.51K  65.5K   164M
  mirror    1.23T  2.40T      1    510  19.6K  54.3M
    sdb         -      -      0    254  9.94K  27.1M
    sdc         -      -      0    255  9.66K  27.1M
  mirror    1.23T  2.40T      2    510  23.4K  54.3M
    sdd         -      -      1    255  11.9K  27.2M
    sde         -      -      1    255  11.6K  27.2M
  mirror    1.26T  2.36T      1    523  22.4K  55.8M
    sdh         -      -      1    262  10.8K  27.9M
    sdi         -      -      0    261  11.6K  27.9M
logs            -      -      -      -      -      -
  sdg1       128K  53.5G      0      1     29   119K
cache           -      -      -      -      -      -
  sdf1      36.7G  2.34G      0    360  1.35K  44.4M
----------  -----  -----  -----  -----  -----  -----

Ser inte ut som att log/skrivcachen används nu när jag skriver till poolen?

Senast redigerat
Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Redigera
Citera flera Citera
Permalänk
Medlem
●

@BerraBing: pve kommer med vissa förinställda zfs settings, bl.a. är arc high water mark satt till 50% av RAM - och zfs kommer använda/reservera så mycket RAM det _kan_. Om du skulle behöva använda RAM till annat (containers) så kommer arc size minska.

Hur skriver du data? async eller sync?

EDIT: Tyvärr är det lite mer komplicerat än att bara slänga in cache-diskar och allt går snabbare med zfs...

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av moron:

@BerraBing: pve kommer med vissa förinställda zfs settings, bl.a. är arc high water mark satt till 50% av RAM - och zfs kommer använda/reservera så mycket RAM det _kan_. Om du skulle behöva använda RAM till annat (containers) så kommer arc size minska.

Hur skriver du data? async eller sync?

EDIT: Tyvärr är det lite mer komplicerat än att bara slänga in cache-diskar och allt går snabbare med zfs...

Gå till inlägget

Tack!
Läste mig till detta för en stund sedan.

Erm, hur vet jag hur jag skriver data?
Misstänker att det är async eftersom jag inte ändra något gällande det?

Jaha?
Hur gör man det rätt då gällande cache-diskar?
För som jag förstår det iom ovan "iostat" så används inte log-device alls nu?

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Redigera
Citera flera Citera
Permalänk
Medlem
●

@BerraBing: Är det en mountad typ NFS storage eller vart skriver du datan ifrån? SLOG används endast vid sync-writes - samt skriver ut ändringar var 5'e sekund. Dock kommer den bara "spara" skrivningar som är mindre än typ 64KB(?) resten sparas inte utan använder filpointers (typ...ehm).

Nu är det snart Bajen-match så jag har tagit nån bira...kan ha fel...

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av moron:

@BerraBing: Är det en mountad typ NFS storage eller vart skriver du datan ifrån? SLOG används endast vid sync-writes - samt skriver ut ändringar var 5'e sekund. Dock kommer den bara "spara" skrivningar som är mindre än typ 64KB(?) resten sparas inte utan använder filpointers (typ...ehm).

Nu är det snart Bajen-match så jag har tagit nån bira...kan ha fel...

Gå till inlägget

Det jag skriver till nu är en smb-share. Alltså på pve har jag poolen main med två cache-ssd, som är utdelad via smb till min klient som jag överför filerna ifrån till pve-hostens smb-share.
Är det async eller sync skrivningar?

hmm fattade inte riktigt det med "mindre än typ 64KB"?

Haha har blivit någon bira här också

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Redigera
Citera flera Citera
Permalänk
Medlem
●

Ok, samba verkar per default vara async(?). Om du vill prova kan du sätta det till sync i nån samba-config.

Det jag menar med att det är små filer är att väldigt lite faktiskt sparas på en slog.

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av moron:

Ok, samba verkar per default vara async(?). Om du vill prova kan du sätta det till sync i nån samba-config.

Det jag menar med att det är små filer är att väldigt lite faktiskt sparas på en slog.

Gå till inlägget

hmm kan vara så att det är async, har inte kollat upp det...
Jaså? då har jag missförstått det här med slog helt och hållet. :S trodde all skriv-trafik gick genom slogen?

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Redigera
Citera flera Citera
Permalänk
Medlem
●

@BerraBing: Nja, så förstår jag det iaf... async writes trycks bara till minnet ändå, så det är snabbare.

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av moron:

@BerraBing: Nja, så förstår jag det iaf... async writes trycks bara till minnet ändå, så det är snabbare.

Gå till inlägget

fan, det suger ju..! om det är så

ska testa lite mer när överföringen är klar här...

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av BerraBing:

fattar inte hur man ska bindmounta något i en container i pve?
ser ju inte tex /main/storage i containern?

Troligtvis är jag väldigt trög, men ändå?

Gå till inlägget

kör en mountpoint ? du editerar "ID".conf filen i /etc/pve/lxc

t.ex:
pve:/etc/pve/lxc# cat 107.conf
arch: amd64
cores: 4
hostname: mediaserver
memory: 512
mp0: /tank/media,mp=/tank/media
net0: name=eth0,bridge=vmbr0,gw=1xxxxx,hwaddr=62:xxx,ip=1xxxxx,type=veth
ostype: debian
rootfs: data:subvol-107-disk-1,size=8G
swap: 512

Visa signatur

Nätverksnörd

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av moire:

kör en mountpoint ? du editerar "ID".conf filen i /etc/pve/lxc

t.ex:
pve:/etc/pve/lxc# cat 107.conf
arch: amd64
cores: 4
hostname: mediaserver
memory: 512
mp0: /tank/media,mp=/tank/media
net0: name=eth0,bridge=vmbr0,gw=1xxxxx,hwaddr=62:xxx,ip=1xxxxx,type=veth
ostype: debian
rootfs: data:subvol-107-disk-1,size=8G
swap: 512

Gå till inlägget

Tack för ditt svar!
Som du ser i ett tidigare svar här ovan så fick jag hjälp med detta i helgen och då funkade det

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Redigera
Citera flera Citera
Permalänk
Medlem
●

Vet inte om jag har ställt in något fel eller om det helt enkelt är så att ZFS inte funkar så som jag hoppas...

Min LOG/skrivcache verkar inte användas iaf.
Skulle vilja testa att ta bort LOGen, partitionera om den (för att se om det är där jag har gjort fel), och sen lägga till den igen men jag är osäker på om jag vågar göra det utan att sabba poolen/datan..?

Väntar på ett nytt HBA för att kunna göra en backup på all data.
Kopplar jag in "backup"-diskarna på kontrollern som OS-disken sitter på så vill inte PVE starta av någon anledning...

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av BerraBing:

Vet inte om jag har ställt in något fel eller om det helt enkelt är så att ZFS inte funkar så som jag hoppas...

Min LOG/skrivcache verkar inte användas iaf.
Skulle vilja testa att ta bort LOGen, partitionera om den (för att se om det är där jag har gjort fel), och sen lägga till den igen men jag är osäker på om jag vågar göra det utan att sabba poolen/datan..?

Väntar på ett nytt HBA för att kunna göra en backup på all data.
Kopplar jag in "backup"-diskarna på kontrollern som OS-disken sitter på så vill inte PVE starta av någon anledning...

Gå till inlägget

Du kör väl async på poolen?

Skickades från m.sweclockers.com

Visa signatur

Nätverksnörd

Redigera
Citera flera Citera
Permalänk
Medlem
●

@BerraBing: Du ska kunna ta bort log/cache utan fara.

Låter lustigt att det inte bootar, vad får du för prompt?

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Ursäkta sent svar, livet ni vet...

Skrivet av moire:

Du kör väl async på poolen?

Skickades från m.sweclockers.com

Gå till inlägget

Erm, hur kollar jag det?
Jag har inte satt något manuellt gällande det iaf...
Edit: hittade kommandot, båda poolerna står som "standard"?

Skrivet av moron:

@BerraBing: Du ska kunna ta bort log/cache utan fara.

Låter lustigt att det inte bootar, vad får du för prompt?

Gå till inlägget

Okej, nu har jag fått kontrollerkorten så jag är i slutskedet med att köra backup på all data ändå.
Så jag tar nog bort main-poolen och gör om den med "by-id" ändå, ska testa min fundering med log/cache samtidigt.

Kommer inte ihåg exakt hur det var nu vid boot, men har för mig att den bara sa typ "waiting on a job to finish"?

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Redigera
Citera flera Citera
Permalänk
Medlem
●

Hade varit till stor hjälp om någon kunde skriva vilka inställningar jag ska köra med för högsta prestanda..?

Det jag kör med nu är:

zpool create -f ashift=12 main mirror /dev/disk/by-id/* /dev/disk/by-id/* mirror /dev/disk/by-id/* /dev/disk/by-id/* mirror /dev/disk/by-id/* /dev/disk/by-id/* log /dev/disk/by-id/* cache /dev/disk/by-id/*
zfs set compression=lz4 main
zfs set primarycache=none main
zfs set secondarycache=all main
zfs set atime=off main
zfs_arc_max=8589934592

Något fel eller mer jag ska köra med?

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Redigera
Citera flera Citera
1 2
Skriv svar
Senaste nyheterna
Hårdvara
Mjukvara
Övrigt
Nytt i forumet
Datorkomponenter
System
Ljud, bild och kommunikation
Spel och mjukvara