Extrem filserver, vad behövs?

Permalänk
Medlem

Extrem filserver, vad behövs?

Jag har fått i uppdrag att bygga en filserver för hantering av stora mängder data i ett decentraliserat beräkningssystem. Rådatan kommer in från klienter via en internetanslutning och hämtas av samtidigt av andra klienter som i sin tur fortsätter beräkningen. Servern i sig utför inget beräkningsarbete, utan skall enbart tillgodose dataflödet, dvs. att filerna tas emot och kan skickas iväg. Det är viktigt att detta går extremt snabbt då det är mycket data som behandlas. Helst ska den klara att skicka/ta emot data samtidigt i minst 4000Mbit/s (full duplex) via två stycken trunkade GE-nätverkskort till en Ciscorouter med en 10Gbit/s internetanslutning. Gammal data ska även arkiveras (internt eller externt) och då är inte hastigheten något krav.

Det jag tänkt mig är en Opteronbaserad rackserver med ett litet, snabbt disksystem baserat på SCSI-RAID. Sedan eventuellt ett större system med RAID:ade SATA-diskar för arkiverad data. Frågan är om SCSI-diskarna klarar hastigheten. Jag funderar på om det eventuellt finns andra lösningar, som t.ex. extremt snabba RAM-diskar? Är det någon som har några erfarenheter av detta eller allmänna idéer/tips?

Initialbudget för denna diskserver (inkl. litet arkiv) ligger på 150kkr, men kan eventuellt utökas något. Tilläggas kan även göras att det rör sig om experimentell forskningsverksamhet. Det är alltså inte utrustning som omedelbart ska sättas in i något säkerhetskritiskt produktionssystem.

EDIT:
Jag skall alltså också inhandla hårdvaran, så jag behöver tips på vart man lämpligast (billigast/bäst/etc) gör detta också...

Permalänk
Hedersmedlem

Finns lite tips om Opteron-baserade servrar i den här tråden. Ja, det finns väldigt få alternativ idag, det är den bistra sanningen.

Du har dock en fördel här att du kan välja externt lagringsmedia, typ solid state. TMS är stor tillverkare på dessa system, kolla in deras produkter. Speciellt RamSan-320.

http://www.superssd.com/

Permalänk
Avstängd

oj du skall tangera gränsen för vad PCI-X klarar av att hantera i dataflöde :).

Hur stort lagringsutrymmeär du ibehov av? ssd lösningar blir snabbt extremt dyra om du behöver lagra mycket data.

Visa signatur

Every dollar spent on a Sony product sends a message that you are OK with a corporation who spies on your personal computer habits and opens up your PC to malicious hackers.
Våga vägra SONY!

Permalänk
Hedersmedlem

Jepp, defintivt intressant med lagringsutrymme. 500MB/s i 60s ger 30GB/min vilket fyller RamSan-320 på två minuter.

Lär ju behövas en sju helvetes massa lagringsytrymme om det kommer data i den farten kontinuerligt.

Permalänk
Hedersmedlem

Känns som att man borde överväga att designa om systemet för att slipa de där datafödena på en punkt.

Är det många olika klienter som ska ha data samtidigt så blir det nog väldigt svårt, med tanke på söktider och annat.

Är det verkligen nödvändigt bör man nog kolla först.

Missförstå mig inte, det vore tufft att få till en burk som klarar det :), men helt trivialt är det nog inte :).

Visa signatur

motor.holy.se - Projekt "Tüsk MiniJänk med Engelsk V8"
"Bingolotto, till och med Loket har trötnat" - Loesje
"Och jag som trodde att världens häftigaste moderator inte existerade!" - Robbster