SSD eller revolving HD

Permalänk

SSD eller revolving HD

Hej,
Har hamnat i knipa på jobbet och blivit mer eller mindre tvungen att sätta upp en hög prestanda maskin. Vi kommer köra en bildanalys mjukvara på den under windows 7.

Mitt problem var att mjukvaran inte använder hela 1.7Ghz x 2x12 core (?)(maximum load <100%, maximum frequency = 100%)

32Gb RAM (A v32gb. ~25gb in Use + ~7gb Standby)

Varken processorn eller minnet jobbar fullt ut.

Som jag förstår det är de 7Gb Standby någonslags buffer? Frågan är val om den bestäms av mjukvaran eller av Windows? Kan programmet vara programmerat att bara använda en maximal mängd RAM?

Vi har även testat att köra det på en maskin som har 256Gb RAM och fler kärnor, utan resultat i ökad prestanda för mjukvaran.

TLDR. Eftersom mjukvaran hanterar tiotusentals små filer (14mb) har jag börjat fundera om det kan vara hårddiskarnas Skriv/läs-hastighet som begränsar (Highest active time i resource monitor visar 100%). Min tanke är att de vanliga (raidade, 7200rpm) diskarna vi kör inte kan hantera mängder av små filer lika fort som en SSD hade klarat.

Det här är verkligen inte mitt fält, tacksam för alla input oavsett nivå!

Vänaligen, Staffan

Permalänk
Medlem

Låter som diskarna eller någon annan flaskhals.

Visa signatur

[1700X] [B350 mITX] [32GB DDR4@3000MHz CL15] [Vega 56] [Nano S] [D15S] [Win 10 Pro]

Permalänk
Moderator
Festpilot 2020, Antiallo

@greeNLeader: Spontant låter det som att ni arbetar med en last som inte skalar helt bra över processorernas kärnor. Kan vara bättre att titta på en maskin med färre kärnor men snabbare individuella kärnor.

Ett exempel är t ex video-rendering i Premier Pro som hellre har en 16-kärniga i9-7960X över 18-kärniga 7980XE enligt testerna som Pudget systems har gjort:

En bildanalysmjukvara gör mycket och är väl något utanför mitt område. Generellt sett vill neuralanätverk och bildigenkänning hellre köras med en Parallell GPU än på en CPU.

Du får gärna komplettera lite mer vad ni gör och på vilket hårdvara, så som det är ju kan jag nog de flesta bara gissa hej vilt.

Visa signatur

 | PM:a Moderatorerna | Kontaktformuläret | Geeks Discord |
Testpilot, Skribent, Moderator & Geeks Gaming Huvudadmin

Permalänk

Tack för visat intresse!

Det är en Dell T7910XL med
Intel Xeon CPU E5-2620 v3 @ 2.4Ghz (2x6 cores)
https://ark.intel.com/products/83352/Intel-Xeon-Processor-E5-....

Vad mjukvaran analyserar mikroskåpbilder. E.g. 800 fält, 6 färger, och 25 Z plan, därav tiotusentals bilder och 0.1-0.5Tb data. Program kollapsar alla Zplanen och skapar en bild med average intensities "maximum projection" därefter dels kan de "sticha" ihopbilderna (fogasamman bilderna kant i kant). Dessutom applicerar man olika analys script som tex jobbbar efter thresholding, olika form/textur osv, även machine-training där man väljer representativa exempel som sen extrapoleras.

Det riktigt märkliga är att det inte alls använder GPU:n.
Ska försöka låna en 4tb ssd så vi kan testa.

Permalänk
Rekordmedlem

Det kan ibland också vara så att prestandan ökar rejält med flera lagringsenheter, läsa från en, skriva till en och en för mjukvara i stället för att ha en en enda där man slår i prestandataket på lagringsenheten/bussar.

Visa signatur

R5 5600G, Asus ROG STRIX X470-F Gaming, WD SN850X 2TB, Seasonic Focus+ Gold 650W, Aerocool Graphite v3, Tittar på en Acer ET430Kbmiippx 43" 4K. Lyssnar på Behringer DCX2496, Truth B3031A, Truth B2092A. Har också oscilloskop, mätmikrofon och colorimeter.

Permalänk
Medlem

Ja du, utan att veta mer om hur mjukvaran är konstruerad, så hade jag testat med ett par andra disksystem för att se hur trenden är, precis som du tänkt. Hur lång tid tar varje bildanalys, tillräckligt snabb för att diskprestanda ska kunna påverka?

Visa signatur

|[●▪▪●]| #Lekburk#: Ryzen 3700X >-< GB-X570-AE >-< 32GB DDR4 >-< MSI RTX 3070 >-< 970 EVO 1TB SSD>--
--< Arctic Freezer 34 >-< FD Define R4 >-< Seasonic F.+ 650W >-< Acer XF270HUA >-< AOC Q2778VQE >--
#Servering#: Ryzen 1700@3,6GHz >-< Prime X470 Pro >-< 16GB DDR4 >-< GTX 1030 >-< 970 EVO 500GB SSD >--
--< Stockkylare >-< Antec P182 >-< Silver Power 600W >-< Samsung 245T |[●▪▪●]|

Permalänk

Tack för all input, är som sagt inte tekniker och byggde min senaste dator tidigt 2000-tal.

Mjukvaran kombinerar först bilderna och utför sedan analysen. Skriv hastigheten är inte ett problem, men tänker att en snurrande HDD kanske inte hinner flytta läshuvudet tillräckligt fort när det är 10000 bilder á 14Mb. SSD disk torde vara snabbare att hantera situationen?

Ska se om jag kan få IT att låna ut en disk.

-S

Permalänk
Medlem
Skrivet av greeNLeader:

Skriv hastigheten är inte ett problem, men tänker att en snurrande HDD kanske inte hinner flytta läshuvudet tillräckligt fort när det är 10000 bilder á 14Mb. SSD disk torde vara snabbare att hantera situationen?

Hur lång tid tar det egentligen att köra analyserna? 10000 bilder á 14MB¹ blir ca. 140GB. En snurrdisk kan nog komma upp i runt 100MB/s i alla fall när det gäller filer i den storleken, vilket skulle betyda att det tar runt 20 min att bara läsa in filerna. Sen tar det väl runt 10 ms för hårddisken att hitta varje fil, vilket blir ytterligare 1-2min totalt.

En normal SATA-SSD ligger istället på runt 500MB/s, så den skulle kunna läsa in allt på under 5 min med försumbara åtkomsttider. Sen finns det NVMe-SSDer som ligger på över 3000MB/s om man vill få det ännu snabbare, som t.ex. Samsung 960 EVO.

Detta är förstås bara en grov uppskattning, men borde i alla fall kunna ge en fingervisning om hur mycket det går att optimera genom att bara byta ut hårddisken.

¹ Jag utgår ifrån att du menade Megabyte (MB) och inte Megabit (Mb), annars får du dela alla tider med 8.

Permalänk
Medlem
Skrivet av greeNLeader:

Tack för all input, är som sagt inte tekniker och byggde min senaste dator tidigt 2000-tal.

Mjukvaran kombinerar först bilderna och utför sedan analysen. Skriv hastigheten är inte ett problem, men tänker att en snurrande HDD kanske inte hinner flytta läshuvudet tillräckligt fort när det är 10000 bilder á 14Mb. SSD disk torde vara snabbare att hantera situationen?

Ska se om jag kan få IT att låna ut en disk.

-S

Ja, helt klart, accesstiden för hårddisk är c:a 10ms för att hitta ett block (=början på fil), SSD 0,05ms eller lägre. Överföringshastigheten kontinuerligt från hårddisk är väl 100-150MB/s typiskt, 400-500+ för en normal SSD.

Ju fler små filer som ska läsas/skrivas desto mer ser man en prestandaförbättring på SSD.

Visa signatur

|[●▪▪●]| #Lekburk#: Ryzen 3700X >-< GB-X570-AE >-< 32GB DDR4 >-< MSI RTX 3070 >-< 970 EVO 1TB SSD>--
--< Arctic Freezer 34 >-< FD Define R4 >-< Seasonic F.+ 650W >-< Acer XF270HUA >-< AOC Q2778VQE >--
#Servering#: Ryzen 1700@3,6GHz >-< Prime X470 Pro >-< 16GB DDR4 >-< GTX 1030 >-< 970 EVO 500GB SSD >--
--< Stockkylare >-< Antec P182 >-< Silver Power 600W >-< Samsung 245T |[●▪▪●]|

Permalänk
Skrivet av perost:

En normal SATA-SSD ligger istället på runt 500MB/s, så den skulle kunna läsa in allt på under 5 min med försumbara åtkomsttider. Sen finns det NVMe-SSDer som ligger på över 3000MB/s om man vill få det ännu snabbare, som t.ex. Samsung 960 EVO.

¹ Jag utgår ifrån att du menade Megabyte (MB) och inte Megabit (Mb), annars får du dela alla tider med 8.

Mycket bra hjälp här alltså. Låter rimligt, lika bra att försöka maxa och se om det blir bättre köper in ett MZ-V6E1T0 (1,000 GB) först för att se hur det funkar. Trist bara att de inte verkar finnas i större än 2Tb. Får bara läsa på så att moderkakan är kompatibel.

Helt korrekt, MB var det. Ska skärpa mig!

-S

Permalänk
Medlem

Försök hitta någon profil-program för att se var de riktiga flaskhalsarna sitter - det är lätt att peka på att tex. hårddiskar skulle vara flaskhalsen - men behöver inte vara det - något som kanske inte syns så väl är tex. om OS spenderar mycket söktid i $MFT i NTFS för att plocka ihop små fildelarna till en större fil med många diskanrop på olika platser på disken och den delen kan ta tid även om aktuella delen av $MFT ligger cachat i RAM.

Med andra ord har du inte defragmenterat diskarna på länge så är det dags att göra det nu och går defragmenteringen långsamt så visar det på ett stort uppdämt behov. - om det är mycket fragmenterat och det går mycket trögt i defraggen (dvs. riskerar att ta dygn på sig) och filerna är oviktiga/ersättningsbara - så kan det vara snabbare grepp att helt enkelt formatera disken med ny NTFS (snabbformatering räcker) så att fillagringen får börja på ny kula filsystemmässigt på disken när filerna kopieras in från fillagringen.

Att tex. en ny stor SSD går skitfort i början beror inte bara på SSD:ns korta söktider utan också på att man med ny disk börja på en ny filsystem utan 'gamla synder' som fragmenterade filer och $MFT som sölar ned det hela.

---

Den här defragmenteringen behöver man göra då och då även på SSD när man använder NTFS trots alla som säger inte behövs, men inte alls lika ofta som på snurrdisk.

Det har att göra med att NTFS fragmenterar sig lätt (är ökänd för detta) och för att behålla prestandan så måste den defragmenteras då och då - oavsett snurrdisk eller SSD.

Välj en defragmenterarprogram som också defragmenterar filer som lagras inom $MFT och flytta ut större filer från $MFT då större filer (dvs. över enstaka kB stora) som hamnat där pga. att man kör med nästan fulla diskar under någon period, flyttar inte ut av sig själva automagiskt utan stannar där dom är tills de raderas och dessa filer är långsamma att läsa ut eftersom det måste hanteras som teckenström inom $MFT och inte inpassade i hela och jämna 4k-block som filer annars är uppstyckade i - de flesta gratis defragg-program inklusive MS egna brukar inte våga defragmentera inom $MFT utan det krävs ofta köpeprogram.

Sedan finns det andra saker att kolla som att GPU överhuvudtaget används och använda program förstår att den finns och inte kör i någon emuleringsmode som backupstrategi.

En del av problemen kan ligga i dåligt optimerade program - det gäller bara att konstatera det om så är och gå tillbaka till företagen som gjort mjukvaran och kanske ställa högre krav eller få hjälp för att få mer sprutt i maskiner - det kan vara allt ifrån drivrutiner till helt ny maskin med kanske annan GPU-kort.