Permalänk
Medlem

Ja vet riktigt vad jag ska tycka om detta...
18 st optane diskar
i ett system som långt ifrån kan ge dem den bandbredd de behöver, drivet av ett Ace of sweden aggregat som ska användas till nätsurf och inte benchmarking...
Det finns så många frågor..
Tycker det luktar troll alternativt dumhet

Visa signatur

Min Dator: AMD 3600 | GTX 680 | 16 GB RAM | Asus X570 Prime | Fractal Design Arc R2 | Thermalright Silver Arrow | Dell U2412M | Ibm Model M

Permalänk
Medlem
Skrivet av UndaC:

Tar mig friheten att kopiera från Optaneers builds.gg

"The best result came from a RAID 0 arrray of 11 disks:
Read: 3.2 GB/s
Write: 1.5 GB/s
Access time: 0.01 ms"

Det är ju ganska kasst resultat?
En singel 970 Evo slaktar ju det där?

Visa signatur

Moderkort: Aorus z390 elite CPU: INTEL i9 9900KS
SSD: 970 evo plus 1TB Intel 750 1.2TB, Samsung 850 PRO 1TB GPU: Titan X Pascal
Ljud: PC360Sennheiser+SB ZxR RAM: Corsair Vengeance lpx 2600mhz cl15 32GB
SKÄRM1: Asus Rog Swift PG279Q 165hz 27" 2560x1440 CHASSI: Define R5
SKÄRM2: ASUS PB278QR 27" 2560x1440 KYLNING: NH-D15 NÄTDEL: Corsair AX860W

Permalänk
Medlem
Skrivet av Roger W:

Bygget ser ju helskönt ut

Fast bara en pci-e x1 lär väl choka prestandan från en optane ganska ordentligt?
NVME är väl normalt pci-e x4?

pcie 3.0 x1 ger runt 1000MB/s. Det räcker för Optane 16GB-disken (pcie x2) som har read/write på 900/145 MB/s.
Först körde jag alla 18 SSD i raid 0, fick inte bättre hastighet än en SATA SSD.
Sedan testade jag med en enda Optane i taget i x1 slotsen, från nr1 till 18.
Upptäckte att endast 11 av dem gav ca 880 MB/s, resterande endast 240 MB/s.
Jag kör alltså 11 x RAID 0, vilket ger 3200/1500 MB/s. Intressant att skrivhastigheterna adderas medan läshastigheten reduceras på något sätt.
Jag tar gärna emot lite tips / kunskaper om hur detta moderkort funkar med lanes o.s.v.

Permalänk
Medlem
Skrivet av hurrai:

Det är ju ganska kasst resultat?
En singel 970 Evo slaktar ju det där?

Ja, jag förstår inte poängen med bygget? Vad missar vi?

Visa signatur

Zenith Extreme Alpha | Threadripper 2950X | 3080 Ti TUF OC | 64GB DDR4 3200MHz | 970 EVO Plus 1TB | 3x Red Pro 10 TB @ raid0 | OLED42C2 + 2x U3014

Permalänk
Medlem
Skrivet av hurrai:

Det är ju ganska kasst resultat?
En singel 970 Evo slaktar ju det där?

Optane är väl optimalt för accesstid, inte throughput. Byggt bara för det går?

Permalänk
Medlem
Skrivet av Aje:

Ja, jag förstår inte poängen med bygget? Vad missar vi?

Du missar inget. Det är bara ett (galet?) experiment av mig. Och jag har fler galenskaper på gång: testa RAID 00!!

Permalänk
Medlem
Skrivet av Optaneer:

Du missar inget. Det är bara ett (galet?) experiment av mig. Och jag har fler galenskaper på gång: testa RAID 00!!

Härligt! 👍

Önskemål: Film på när PSU'n ger upp och dess eventuella konsekvenser.

Permalänk
Medlem
Skrivet av rpha:

Optane är väl optimalt för accesstid, inte throughput. Byggt bara för det går?

Exakt!! Byggt bara för att det går!

Permalänk
Hjälpsam

Körs Optanediskarna rätt in i PCI-Ex1 portarna eller är det någon M.2/PCI-E adapter mellan?

Visa signatur

Allt jag säger/skriver här är mina egna åsikter och är inte relaterade till någon organisation eller arbetsgivare.

Jag är en Professionell Nörd - Mina unboxing och produkttester (Youtube)
Om du mot förmodan vill lyssna på mig - Galleri min 800D med 570 Phantom SLI

Permalänk
Medlem
Skrivet av rpha:

Optane är väl optimalt för accesstid, inte throughput. Byggt bara för det går?

aha, osäker om jag skulle offra den högre läs och skrivhastigheten för 0.0x ms... accesstid med denna konfig

men ja absolut det ser häftigt ut synd att det inte är användbart. krävs en rejäl moderkort med fin processor.
gärna av pci express 4.0 då kommer han få bättre resultat. kanske.

jag körde själv back in the day.

wd raptor 10k diskar 36.6gb i raid 0. jävlar det var lyx på den tiden att köra spel på.
sedan uppgradera jag mig till intel x25m 80gb x2 i raid 0.

men senare vid ett tillfälle så köpte jag typ 6st 128gb kingston och körde i raid. men dessa diskar var riktigt kassa och fungerade inte alls bra, varför. high on speed tror jag.

Visa signatur

Moderkort: Aorus z390 elite CPU: INTEL i9 9900KS
SSD: 970 evo plus 1TB Intel 750 1.2TB, Samsung 850 PRO 1TB GPU: Titan X Pascal
Ljud: PC360Sennheiser+SB ZxR RAM: Corsair Vengeance lpx 2600mhz cl15 32GB
SKÄRM1: Asus Rog Swift PG279Q 165hz 27" 2560x1440 CHASSI: Define R5
SKÄRM2: ASUS PB278QR 27" 2560x1440 KYLNING: NH-D15 NÄTDEL: Corsair AX860W

Permalänk
Skrivet av DHead:

ImDisk (gratis!)
Primo RamDisk

Det som är bra med dessa är att de allokerar RAM dynamiskt, dvs även om du sätter upp ex. en 32 gig ramdrive, så nyttjas bara så mycket minne du faktiskt använder.

ImDisk såg intressant ut, ska pröva det på servern!

Visa signatur

12900K, 48GB DDR5, GTX Titan Xp 12GB

Sugen på att köra e-GPU?

Permalänk
Medlem
Skrivet av Fluf:

Körs Optanediskarna rätt in i PCI-Ex1 portarna eller är det någon M.2/PCI-E adapter mellan?

Ja, det är M.2/PCI-E adaptrar mellan.

Permalänk
Medlem
Skrivet av Optaneer:

pcie 3.0 x1 ger runt 1000MB/s. Det räcker för Optane 16GB-disken (pcie x2) som har read/write på 900/145 MB/s.
Först körde jag alla 18 SSD i raid 0, fick inte bättre hastighet än en SATA SSD.
Sedan testade jag med en enda Optane i taget i x1 slotsen, från nr1 till 18.
Upptäckte att endast 11 av dem gav ca 880 MB/s, resterande endast 240 MB/s.
Jag kör alltså 11 x RAID 0, vilket ger 3200/1500 MB/s. Intressant att skrivhastigheterna adderas medan läshastigheten reduceras på något sätt.
Jag tar gärna emot lite tips / kunskaper om hur detta moderkort funkar med lanes o.s.v.

B250 har endast 12 PCIe 3.0-linor, utöver de 16 som processorn har och som används till x16-porten. Så Asus måste ha gjort någon kompromiss för att få dit alla PCIe-portar, men de säger tyvärr inget om hur de kopplat i manualen eller specifikationerna. Baserat på dina resultat så verkar det som att de använder 11 av PCIe-linorna från styrkretsen till lika många portar, och sen har de trollat fram några PCIe 1.0-linor till övriga portar.

Att du inte får mer än 3200 MB/s i läshastighet beror troligtvis på att bandbredden mellan styrkretsen och processorn är begränsad till ca 4 GB/s, och sen har du troligtvis en del annan overhead som gör att du inte riktigt når den gränsen. Så du kan maxa någon SSD i taget, men försöker du använda alla samtidigt så blir bandbredden mot styrkretsen en flaskhals.

Permalänk
Medlem

Kul bygge!

Om du har råd så kan du leta upp lite bättre hårdvara för att steppa upp till full potential!
Kanske en Ryzen Threadripper för massor av PCIe-lanes och ett moderkort med många PCIe portar som kan ge optane full bandbredd.

Det finns ju expansionskort som man kan ha 4st m.2 i så att du kan köra flera stycken på en PCIE x16 och då borde det vara lite lättare att hitta passande moderkort.

Threadripper har 128 PCI-e lanes så med rätt moderkort så kan du få in ännu fler optane än 18.

Permalänk
Medlem
Skrivet av perost:

B250 har endast 12 PCIe 3.0-linor, utöver de 16 som processorn har och som används till x16-porten. Så Asus måste ha gjort någon kompromiss för att få dit alla PCIe-portar, men de säger tyvärr inget om hur de kopplat i manualen eller specifikationerna. Baserat på dina resultat så verkar det som att de använder 11 av PCIe-linorna från styrkretsen till lika många portar, och sen har de trollat fram några PCIe 1.0-linor till övriga portar.

Att du inte får mer än 3200 MB/s i läshastighet beror troligtvis på att bandbredden mellan styrkretsen och processorn är begränsad till ca 4 GB/s, och sen har du troligtvis en del annan overhead som gör att du inte riktigt når den gränsen. Så du kan maxa någon SSD i taget, men försöker du använda alla samtidigt så blir bandbredden mot styrkretsen en flaskhals.

Tack för svaret! Det var upplysande. Har själv googlat som en galning och inte hittat något om hur moderkortet är uppbyggt.
Det där med bandbredden mellan styrkretsen och processorn låter vettigt.

Permalänk
Medlem
Skrivet av RCA56:

Kul bygge!

Om du har råd så kan du leta upp lite bättre hårdvara för att steppa upp till full potential!
Kanske en Ryzen Threadripper för massor av PCIe-lanes och ett moderkort med många PCIe portar som kan ge optane full bandbredd.

Det finns ju expansionskort som man kan ha 4st m.2 i så att du kan köra flera stycken på en PCIE x16 och då borde det vara lite lättare att hitta passande moderkort.

Threadripper har 128 PCI-e lanes så med rätt moderkort så kan du få in ännu fler optane än 18.

Tack för svaret!
Råd har man om men tar sig råd......eller?......fast detta var ett riktigt budgetbygge: ca 1800:- plus CPU (i3-7350K) som jag hade tidigare.
Threadripper låter lockande.........och ett expansionskort för 4st m.2 har jag redan.......plus några Optane 32 GB.
Skulle ju vara kul att få användning för dessa.
Är det bara threadripper som har pcie bifurcation?
Jag (fel)köpte ett Asrock x570 Taichi, där gick bara att dela x16 till 2x8. Vad skall man ha det till?

Permalänk
Medlem

Kom hit för att kommentera just flaskhalsen mellan CPU och styrkrets, men perost hann föra.

Intels CPUer sen Sandy Bridge har haft 20 PCIe banor, varav 16 är avsedda för GPU (ibland uppdelat i x8/x8) och resterande 4 är omdöpta till DMI och går till styrkretsen, i detta fall B250.

Som nämnt har B250 bara 12 PCIe banor (utöver de 4 till CPUn). ASUS använder antagligen någon PCIe switch som splittar upp dem ytterligare. Undrar om några av dem kommer från CPUn? Dvs stjäl bandbredd från x16-slotten. Det är vanligt att man dynamiskt kan välja att köra x16-slotten i full x16-mode, eller x8-mode om 8 banor behövs på annat håll. T.ex med dubbla grafikkort där båda får 8 banor var.

Du skulle kunna testa att belasta alla diskar individuellt (inte Raid0, för då begränsas alla diskar till den långsammaste) och se om du ser skillnad på dem. Om en stor bunt av dem trängs igenom DMI och några kopplas direkt till CPUn så borde du se skillnaden.

Permalänk
Medlem
Skrivet av ajp_anton:

Kom hit för att kommentera just flaskhalsen mellan CPU och styrkrets, men perost hann föra.

Intels CPUer sen Sandy Bridge har haft 20 PCIe banor, varav 16 är avsedda för GPU (ibland uppdelat i x8/x8) och resterande 4 är omdöpta till DMI och går till styrkretsen, i detta fall B250.

Som nämnt har B250 bara 12 PCIe banor (utöver de 4 till CPUn). ASUS använder antagligen någon PCIe switch som splittar upp dem ytterligare. Undrar om några av dem kommer från CPUn? Dvs stjäl bandbredd från x16-slotten. Det är vanligt att man dynamiskt kan välja att köra x16-slotten i full x16-mode, eller x8-mode om 8 banor behövs på annat håll. T.ex med dubbla grafikkort där båda får 8 banor var.

Du skulle kunna testa att belasta alla diskar individuellt (inte Raid0, för då begränsas alla diskar till den långsammaste) och se om du ser skillnad på dem. Om en stor bunt av dem trängs igenom DMI och några kopplas direkt till CPUn så borde du se skillnaden.

Jag skrev tidigare:
"Sedan testade jag med en enda Optane i taget i x1 slotsen, från nr1 till 18.
Upptäckte att endast 11 av dem gav ca 880 MB/s, resterande endast 240 MB/s."
Är det så du menar?

Permalänk
Medlem
Skrivet av Optaneer:

Jag skrev tidigare:
"Sedan testade jag med en enda Optane i taget i x1 slotsen, från nr1 till 18.
Upptäckte att endast 11 av dem gav ca 880 MB/s, resterande endast 240 MB/s."
Är det så du menar?

Menade att du belastar alla samtidigt för att kunna identifiera eventuell trängsel. Dock så pekar det där nog också på att de är kopplade olika. Men 880MB/s är fortfarande fullt möjligt via DMI, så det skulle ju kunna vara så att 11 är kopplade direkt till styrkretsen, och resten går via en switch till den sista 12:e PCIe-banan, också till styrkretsen. För den har ju 12 st.

Belastar du alla samtidigt så ser du om någon av dem kopplas direkt till CPUn (eller eventuellt via en switch), eller om alla går via styrkretsen och samsas genom DMI.

Också intressant det där med 240MB/s. Det pekar på PCIe 1.0. Är ju möjligt att pga andra flaskhalsar så har ASUS sparat några cent på att använda en PCIe 1.0 switch för resterande slottar. Eller åtminstone 1.0 till slottarna, möjligt att upplänken till styrkretsen fortfarande är snabbare. Om du belastar två "240MB/s slottar" samtidigt, får du ut totalt 480 eller delar de på 240?

Permalänk
Medlem
Skrivet av ajp_anton:

Som nämnt har B250 bara 12 PCIe banor (utöver de 4 till CPUn). ASUS använder antagligen någon PCIe switch som splittar upp dem ytterligare. Undrar om några av dem kommer från CPUn? Dvs stjäl bandbredd från x16-slotten. Det är vanligt att man dynamiskt kan välja att köra x16-slotten i full x16-mode, eller x8-mode om 8 banor behövs på annat håll. T.ex med dubbla grafikkort där båda får 8 banor var.

B250 har vad jag vet inte stöd för att dela upp PCIe-banorna från CPUn, utan det brukar bara vara Z-kretsarna som kan dela upp i x8/x8 eller x8/x4/x4. Eventuellt att det går att lösa med någon switch-lösning, men frågan är om en sån lösning inte blir så dyr att man lika gärna kan använda en Z-krets istället. De brukar åtminstone nämna i manualen om de snor PCIe-banor från CPUn, men de verkar iofs. inte ansträngt sig särskilt mycket gällande dokumentationen när det gäller det här moderkortet.

Permalänk
Medlem
Skrivet av SwedenVirre:

Tanken har slagit mig men senast jag kollade på ramdrive så var det svårt att få över 4gb, någon lösning på det? Ram finns där gott om

Japp, med följande i etc/fstab kan du få hur mycket ramdisk du vill i Linux (rent praktiskt 4-8GB mindre än ditt totala ram). Det bästa är att detta är en maxgräns, inte ett allokerat exklusivt område. Vilket innebär att bara 2GB filer ger resterande 14GB att användas av systemet om det behagar. Så det gör inget att allokera för mycket.

#ramdisk tmpfs /mnt/ramdisk tmpfs defaults,size=16384M 0 0

Visa signatur

Server: Fractal design Define 7 XL | AMD Ryzen 7 5800X 8/16 | ASUS ROG CROSSHAIR VIII DARK HERO | 64GB Corsair @ 3000MHz | ASUS Radeon RX 460 2GB | Samsung 960 PRO 512 GB M.2 | 2x 2TB Samsung 850 PRO SSD | 6x Seagate Ironwolf Pro 10TB
WS: Phantex Entoo Elite | AMD Ryzen Threadripper 1950X 16/32 | ASUS Zenith extreme | 128GB G.Skill @ 2400MHz | ASUS Radeon HD7970 | 3x 2TB Samsung 960PRO M.2 | 6x Seagate Ironwolf Pro 10 TB
NEC PA301W 30" @ 2560x1600 | Linux Mint 21.3 Cinnamon

Permalänk
Medlem
Skrivet av Optaneer:

Tack för svaret! Det var upplysande. Har själv googlat som en galning och inte hittat något om hur moderkortet är uppbyggt.
Det där med bandbredden mellan styrkretsen och processorn låter vettigt.

Du skulle behöva något liknande denna för att komma längre i prestandaracet:

https://www.amazon.com/ASUS-M-2-X16-V2-Threadripper/dp/B07NQB...

(Inte alls säker på att just den fungerar med moderkortet, men något liknande)

Permalänk
Medlem

Kul bygge gillar när man går utanför boxen. Stäng öronen för alla gnällspikar är så trött på dessa personer på alla forum. Ska du bara gnälla i inlägget då är det bättre att vara tyst.

Visa signatur

Ryzen 5800X ROG STRIX X570-f GAMING FlareX DDR43600 cl 14-14-14-34 EVGA FTW3 Ultra RTX 3090

Permalänk
Medlem
Skrivet av sesese:

Kul bygge gillar när man går utanför boxen. Stäng öronen för alla gnällspikar är så trött på dessa personer på alla forum. Ska du bara gnälla i inlägget då är det bättre att vara tyst.

I sådana lägen brukar jag citera Pippi Långstrump:
" -Så gör jag, och det blir så bra så!!"

Permalänk
Medlem
Skrivet av RCA56:

Threadripper har 128 PCI-e lanes så med rätt moderkort så kan du få in ännu fler optane än 18.

Det var ju nån som byggde nåt liknande på threadripper för ett tag sen:

"11M IOPS with 4kB random reads and 66 GiB/s"

https://tanelpoder.com/posts/11m-iops-with-10-ssds-on-amd-thr...

Permalänk
Medlem
Skrivet av thu:

Det var ju nån som byggde nåt liknande på threadripper för ett tag sen:

"11M IOPS with 4kB random reads and 66 GiB/s"

https://tanelpoder.com/posts/11m-iops-with-10-ssds-on-amd-thr...

Wow!

Jag menar ’varför?’, men sjukt häftigt att det går!

Undrar vad man kan använda sådan prestanda till i praktiken

Permalänk
Medlem
Skrivet av Sh4d0wfi3nd:

Vad händer om strömmen krashar när du har en RAM-drive? Tänker så du har riktigt täta backups bara.

Något snille har uppfunnit en sak som kallas för UPS. Det är en sak som ger ström efter nätspänningsbortfall tills man hunnit stänga ner servern ordentligt

Visa signatur

There are two kinds of people: 1. Those that can extrapolate from incomplete data.
Min tråkiga hemsida om mitt bygge och lite annat smått o gott: www.2x3m4u.net

Permalänk
Medlem
Skrivet av Dr.Mabuse:

Något snille har uppfunnit en sak som kallas för UPS. Det är en sak som ger ström efter nätspänningsbortfall tills man hunnit stänga ner servern ordentligt

Haha ja just det! För det har alla en hemma! Glömde bort att det blev standard år 2020. Nä men klart om man har det så är det ju ingen större fara.

Visa signatur

I7 12700K, Asus RTX 3080 TI, Alienware AW3423DW och annat smått o gott.

Permalänk
Medlem
Skrivet av Sh4d0wfi3nd:

Haha ja just det! För det har alla en hemma! Glömde bort att det blev standard år 2020. Nä men klart om man har det så är det ju ingen större fara.

Har inte alla det redan? Har haft UPS hemma sedan 90-talet. Min första var en Ericsson som jag kopplade in min Amiga på

Visa signatur

There are two kinds of people: 1. Those that can extrapolate from incomplete data.
Min tråkiga hemsida om mitt bygge och lite annat smått o gott: www.2x3m4u.net

Permalänk
Medlem
Skrivet av Dr.Mabuse:

Har inte alla det redan? Har haft UPS hemma sedan 90-talet. Min första var en Ericsson som jag kopplade in min Amiga på

Har aldrig haft en UPS hemma även om jag helt klart ser fördelarna av det och har inom arbete använt mig av flertalet UPSer. Men sen kör jag inga kritiska enheter i hemmet utan bara person-dator osv. Blir väl lite Off-topic nu, var mest en fråga som användaren själv besvarade. Avslutar med UPS = bra.

Visa signatur

I7 12700K, Asus RTX 3080 TI, Alienware AW3423DW och annat smått o gott.