Permalänk

temporär lagring

Hej! behöver konfigurera om min server och behöver då en temporär lagrings plats för all min data ca 10tb hur löser jag detta utan att bli ruinerad?

Visa signatur

Fractal Design Define R5 Svart, Intel Core i7 7700K 4.2 GHz 8MB, Noctua NH-D15, Corsair 32GB (2x16GB) DDR4 2666Mhz CL15, MSI GeForce GTX 1080 Ti 11GB Gaming X, MSI Z270 GAMING M5, Samsung 960 EVO 500GB, EVGA Supernova G2 850W

Permalänk
Medlem

Har du ingen backup? Kanske är dags att ordna det annars.

Permalänk
Medlem

Det finns 3 månaders gratis testperiod med obegränsad lagring på Amazon cloud drive. Men det kräver ju ganska snabbt internet för att kunna ladda upp och ner 10 TB inom rimlig tid. Men du kan ju börja ladda upp det viktigaste först och sedan låta det jobba på. Använd rclone för att överföra dina filer. Har hört talas om folk som har mer än 10 TB uppladdat så teoretiskt ska det fungera.

https://www.amazon.com/clouddrive/home
https://rclone.org/

Edit: Skulle det ta mer än 3 månader så kostar det 60$ per år vilket är billigt för obegränsad lagring.

Permalänk
Skrivet av lorgix:

Har du ingen backup? Kanske är dags att ordna det annars.

Tyvärr inte så stor bara på det allra viktigaste

Skrivet av ronnylov:

Det finns 3 månaders gratis testperiod med obegränsad lagring på Amazon cloud drive. Men det kräver ju ganska snabbt internet för att kunna ladda upp och ner 10 TB inom rimlig tid. Men du kan ju börja ladda upp det viktigaste först och sedan låta det jobba på. Använd rclone för att överföra dina filer. Har hört talas om folk som har mer än 10 TB uppladdat så teoretiskt ska det fungera.

https://www.amazon.com/clouddrive/home
https://rclone.org/

Edit: Skulle det ta mer än 3 månader så kostar det 60$ per år vilket är billigt för obegränsad lagring.

Ska ta mig en titt har 1gbit så ska inte vara några problem att ladda upp det

Visa signatur

Fractal Design Define R5 Svart, Intel Core i7 7700K 4.2 GHz 8MB, Noctua NH-D15, Corsair 32GB (2x16GB) DDR4 2666Mhz CL15, MSI GeForce GTX 1080 Ti 11GB Gaming X, MSI Z270 GAMING M5, Samsung 960 EVO 500GB, EVGA Supernova G2 850W

Permalänk
Medlem

10 TB / 1000 Mbps är 22 timmar

Permalänk
Inaktiv
Skrivet av Joulester:

Tyvärr inte så stor bara på det allra viktigaste

Ska ta mig en titt har 1gbit så ska inte vara några problem att ladda upp det

Jag har också en gbit och får riktigt usla hastigheter mot Amazon. Om du lyckas få bra får du gärna dela med dig hur du gör

Permalänk
Skrivet av Garmzon:

10 TB / 1000 Mbps är 22 timmar

Skrivet av Hugligan:

Jag har också en gbit och får riktigt usla hastigheter mot Amazon. Om du lyckas få bra får du gärna dela med dig hur du gör

Håller med var hel usla överförings hastigheter ska försöka mellan lagra hos en kompis

Visa signatur

Fractal Design Define R5 Svart, Intel Core i7 7700K 4.2 GHz 8MB, Noctua NH-D15, Corsair 32GB (2x16GB) DDR4 2666Mhz CL15, MSI GeForce GTX 1080 Ti 11GB Gaming X, MSI Z270 GAMING M5, Samsung 960 EVO 500GB, EVGA Supernova G2 850W

Permalänk
Medlem

Du skulle förstås kunna köpa en 10 TB-disk (finns för en bit under 4000:-), och sedan använda den som backup efteråt (så det inte blir bortkastade pengar).

Men jag antar att det var det första du tänkte på, och skippade pga priset.

Visa signatur

9950X3D | 5080

Permalänk
Inaktiv
Skrivet av backfeed:

Du skulle förstås kunna köpa en 10 TB-disk (finns för en bit under 4000:-), och sedan använda den som backup efteråt (så det inte blir bortkastade pengar).

Men jag antar att det var det första du tänkte på, och skippade pga priset.

Tappar man disken så är ju allt förlorat ;(;(

Permalänk
Medlem
Skrivet av Hugligan:

Jag har också en gbit och får riktigt usla hastigheter mot Amazon. Om du lyckas få bra får du gärna dela med dig hur du gör

Har hört talas om att man kan maxa gigabit om man använder rclone för överföringarna.
Men också hört att Amazon Cloud drive krånglat en del med rclone på sistone.

Annars får man köra med unlimited konto på google drive.
https://gsuite.google.se/intl/sv/pricing.html
Business ger obegränsad lagring i praktiken även med 1 användare (det stämmer inte i praktiken att <5 användare bara ger 1 TB per användare)

Google drive är snabbt för stora filer men långsamt med många små filer då det inte verkar gå att skapa mer än 2 filer per sekund. Kan alltså vara värt att packa ihop måmga småfiler i zip-filer eller liknande innan man skickar upp dem.

Permalänk
Inaktiv

Kanske dags att städa lite av det du lagrat? Behövs verkligen allt, är ju ändå vår.

Backup-lagring som matchar det du lagrar är något du bör skaffa snarast. Iallafall på viktig data. Förr eller senare händer något som riskerar att skada den data du lagrar. Eller helt enkelt förstör detta. Diskcrasher och ransomware är saker man bör ha i åtanke.

Permalänk
Inaktiv
Skrivet av ronnylov:

Har hört talas om att man kan maxa gigabit om man använder rclone för överföringarna.
Men också hört att Amazon Cloud drive krånglat en del med rclone på sistone.

Annars får man köra med unlimited konto på google drive.
https://gsuite.google.se/intl/sv/pricing.html
Business ger obegränsad lagring i praktiken även med 1 användare (det stämmer inte i praktiken att <5 användare bara ger 1 TB per användare)

Google drive är snabbt för stora filer men långsamt med många små filer då det inte verkar gå att skapa mer än 2 filer per sekund. Kan alltså vara värt att packa ihop måmga småfiler i zip-filer eller liknande innan man skickar upp dem.

Jag har iofs inte testat rclone utan bara att mounta driven med ExpanDrive och liknande.

Permalänk
Medlem
Skrivet av Hugligan:

Tappar man disken så är ju allt förlorat ;(;(

Därför låter man bli att tappa disken och gör ordentliga tester på den innan man börjar använda den. Men visst, risken finns alltid.

Visa signatur

9950X3D | 5080

Permalänk

@Joulester:

Funderat på Jottacloud?
Deras "obegränsade" lagring tror jag ska ha en gräns på runt 10TB även om det inte ska vara en hård gräns om jag uppfattat rätt.
Tycker att det går rätt snabbt att ladda upp men jag har 100Mbit och inte 1Gbit så jag kan inte säga helt säkert om du kan ladda upp riktigt så snabbt.

Permalänk
Medlem
Skrivet av Hugligan:

Jag har också en gbit och får riktigt usla hastigheter mot Amazon. Om du lyckas få bra får du gärna dela med dig hur du gör

Skrivet av Joulester:

Håller med var hel usla överförings hastigheter ska försöka mellan lagra hos en kompis

Usel överföringshastighet skulle jag inte direkt påstå (?). Håller på just nu med en överföring till min amazon drive.

Vad kör ni med för cmdline? jag kör: rclone sync /Storage/SQL-Backups qhrizz:Serverbackup/qhrizz/Sync/SQL-Backups --transfers 10 --checkers 10 --log-file=/home/qhrizz/rclone_sync.log -v

Visa signatur

Gaming: Asus 3080 Ti + 5900X
Proxmox: Ett gäng Intel NUC Gen 8:or
Rojter: UCG-Ultra, WAN 1000/1000

Permalänk
Medlem

Kan också tipsa om RcloneBrowser om man inte gillar kommandoraden:

https://mmozeiko.github.io/RcloneBrowser/

Permalänk

Har nu löst detta genom att fixa externa diskar

Skrivet av Glaring_Mistake:

@Joulester:

Funderat på Jottacloud?
Deras "obegränsade" lagring tror jag ska ha en gräns på runt 10TB även om det inte ska vara en hård gräns om jag uppfattat rätt.
Tycker att det går rätt snabbt att ladda upp men jag har 100Mbit och inte 1Gbit så jag kan inte säga helt säkert om du kan ladda upp riktigt så snabbt.

Kan vara intressant för framtiden.

Skrivet av qhrizz:

Usel överföringshastighet skulle jag inte direkt påstå (?). Håller på just nu med en överföring till min amazon drive.
http://i.imgur.com/z0Gsv2T.png

Vad kör ni med för cmdline? jag kör: rclone sync /Storage/SQL-Backups qhrizz:Serverbackup/qhrizz/Sync/SQL-Backups --transfers 10 --checkers 10 --log-file=/home/qhrizz/rclone_sync.log -v

Du verkar få ut bra hastigheter. Skall undersöka din lösning mer.

Skrivet av ronnylov:

Kan också tipsa om RcloneBrowser om man inte gillar kommandoraden:

https://mmozeiko.github.io/RcloneBrowser/

Detta verkar vara en bra lösning om jag klarar att få ut samma hastigheter som @qhrizz

Visa signatur

Fractal Design Define R5 Svart, Intel Core i7 7700K 4.2 GHz 8MB, Noctua NH-D15, Corsair 32GB (2x16GB) DDR4 2666Mhz CL15, MSI GeForce GTX 1080 Ti 11GB Gaming X, MSI Z270 GAMING M5, Samsung 960 EVO 500GB, EVGA Supernova G2 850W

Permalänk
Medlem

@ronnylov @qhrizz

såg att dom på rclone hemsida skrivit "At the time of writing (Jan 2016) is in the area of 50GB per file. This means that larger files are likely to fail."

Har ni provat? jag har filer upp till 500GB detta vore perfekt om det fungerade vill säga.

Permalänk
Medlem
Skrivet av petabyte:

@ronnylov @qhrizz

såg att dom på rclone hemsida skrivit "At the time of writing (Jan 2016) is in the area of 50GB per file. This means that larger files are likely to fail."

Har ni provat? jag har filer upp till 500GB detta vore perfekt om det fungerade vill säga.

Kan testa, drog ihop en fil på 100GB

2017/05/03 15:13:05 NOTICE: amazon drive root '': Warning: file "test3.zip" may fail because it is too big. Use --max-size=50000M to skip large files.

Men den laddar upp - återkommer när den är klar.

Visa signatur

Gaming: Asus 3080 Ti + 5900X
Proxmox: Ett gäng Intel NUC Gen 8:or
Rojter: UCG-Ultra, WAN 1000/1000

Permalänk
Arvid Nordqvist-mannen
Skrivet av Hugligan:

Tappar man disken så är ju allt förlorat ;(;(

Tappar han 10TB nu från servern är allt förlorat.

Permalänk
Medlem
Skrivet av petabyte:

@ronnylov @qhrizz

såg att dom på rclone hemsida skrivit "At the time of writing (Jan 2016) is in the area of 50GB per file. This means that larger files are likely to fail."

Har ni provat? jag har filer upp till 500GB detta vore perfekt om det fungerade vill säga.

Skrivet av qhrizz:

Kan testa, drog ihop en fil på 100GB

2017/05/03 15:13:05 NOTICE: amazon drive root '': Warning: file "test3.zip" may fail because it is too big. Use --max-size=50000M to skip large files.

Men den laddar upp - återkommer när den är klar.

Den säger att den är uppladdad, men den syns inte i amazondrive.
Rclone tycker:
2017/05/03 20:13:52 DEBUG : test3.zip: Object not found - waiting (2091/3613)

så gissar att den kommer att faila på det.

Visa signatur

Gaming: Asus 3080 Ti + 5900X
Proxmox: Ett gäng Intel NUC Gen 8:or
Rojter: UCG-Ultra, WAN 1000/1000

Permalänk
Medlem
Skrivet av tcntad:

Tappar han 10TB nu från servern är allt förlorat.

Då får man fixa 2st 10 TB diskar eller en 10 TB disk och en molnlagring parallellt - tillbakatagning från molnlagringen behöver man bara utnyttja _om_ sagda snurrdisk pajar, med extern disk går återlagringen betydligt snabbare än via lina utifrån.

När det gäller molnlagring - kolla noga vad det kostar att ta tillbaka säg 10 TB inom rimlig tid, upplagring går ofta ganska snabbt (dvs så mycket linan tål), och billigt - det när man skall hämta tillbaka sina data som det nästan kan vara i utpressningssituation av sina data på vissa avtal med väldigt hög pris om det skall gå fort, annars går långsamt eller bara får ta ner ett visst antal GB/månad för låg kostnad, därefter en brant stigande kostnadstrappa om man vill ta tillbaka mer på kortare tid.

---

Finns inte backup på serverns innehåll redan idag så är det i stort sett samma situation som att ha data på bara en enda snurr-disk senare när servern skall göras om typ.

Permalänk
Medlem

@qhrizz: Tack för att du tog dig tid att testa, verkar troligt att begränsningen är kvar.

Intressant alternativ som backup dock, jag har precis startat men första 5TB överföring. Jag får 100Mb/s på en 100Mb/s lina.

Permalänk
Medlem
Skrivet av petabyte:

@qhrizz: Tack för att du tog dig tid att testa, verkar troligt att begränsningen är kvar.

Intressant alternativ som backup dock, jag har precis startat men första 5TB överföring. Jag får 100Mb/s på en 100Mb/s lina.

Kikade nu på morgonen (lät den stå under natten) - Filen har inte dykt upp och rclone har gjort retries på att ladda upp den utan att lyckas, så begränsningen finns nog tyvärr kvar.

Visa signatur

Gaming: Asus 3080 Ti + 5900X
Proxmox: Ett gäng Intel NUC Gen 8:or
Rojter: UCG-Ultra, WAN 1000/1000

Permalänk
Medlem

Google Drive tillåter stora filer:
https://support.google.com/drive/answer/37603?hl=en
5 TB säger de för "other files".
Men det kräver förstås ett konto med tillräckligt lagringsutrymme för filerna.

Permalänk
Medlem
Skrivet av ronnylov:

Google Drive tillåter stora filer:
https://support.google.com/drive/answer/37603?hl=en
5 TB säger de för "other files".
Men det kräver förstås ett konto med tillräckligt lagringsutrymme för filerna.

Skulle gissa att det är så Amazon har "löst" det med obegränsad mängd... genom att ha en begränsad ffilstorlek så blir det mer krångel och folk drar sig för att ladda upp för stora saker. Det går ju att zip/rar:a dessa till mindre om man vill dock...

Google tillåter istället större fil, men har istället begränsningar på hur mycket du kan ladda upp.

Permalänk
Medlem
Skrivet av Paddanx:

Skulle gissa att det är så Amazon har "löst" det med obegränsad mängd... genom att ha en begränsad ffilstorlek så blir det mer krångel och folk drar sig för att ladda upp för stora saker. Det går ju att zip/rar:a dessa till mindre om man vill dock...

Google tillåter istället större fil, men har istället begränsningar på hur mycket du kan ladda upp.

Är det vanligt att folk har filer större än 50 GB?
Jag har någon enstaka i den storleken men inte så många.

Permalänk
Medlem
Skrivet av ronnylov:

Är det vanligt att folk har filer större än 50 GB?
Jag har någon enstaka i den storleken men inte så många.

Mja, inte som lösa filer, nej. Men backup Image blir lätt över 50GB. Jag har även inspelade spel sessioner på typ 9-10 timmar på 80GB+.
Om du ha obegränsat med utrymme dock så brukar man samla på sig rätt stora filer

Permalänk

Även virtuella hårddiskfiler kan bli ganska kraftiga. Sen är det ju definitivt som Paddanx säger: "Finns det utrymme så utnyttjar man". Det är en folksjukdom i flera former. "Det spelar ingen roll hur mycket man tjänar. Man får ändå aldrig något över."... knappast något nytt.

Permalänk
Medlem
Skrivet av Runarsson:

Även virtuella hårddiskfiler kan bli ganska kraftiga. Sen är det ju definitivt som Paddanx säger: "Finns det utrymme så utnyttjar man". Det är en folksjukdom i flera former. "Det spelar ingen roll hur mycket man tjänar. Man får ändå aldrig något över."... knappast något nytt.

Fick mig att tänka på en sak jag hörde på radion för några år sedan. En lyssnare hade ringt in på en frågestund och undrar varför man inte kan få lönen den 15:e istället. Det är ju alltid då pengarna är slut.

När de hade försökt förklara för honom att då blir det ju bara framskjutet när pengarna tar slut den 5:e istället, hade han inte begripit detta, utan bara envist vidhållit att det är just den 15:e som pengarna tar slut.. varje månad. Var komiskt att lyssna på.

Men med det sagt kan säga så här: Efter att ha köpt större SSDer och har nu 1TB bara för spel... så inser jag att jag har svårt att "fylla den"... Så jag har laddat ner mer eller mindre varenda spel på steam snart (som jag en kan tänka mig vilja spela ens nån gång), bara för... ifall ifall jag vill, slipper jag ladda ner dem.

Sen att jag har 500Mbit ner och det tar ca 25 min att ladda ner och installera GTAV låter jag vara osagt

Inte direkt bra användning av SSD plats, eller hur? Så visst tusan använder man utrymme man har, även om man inte behöver. Jag är definitivt utsatt för denna sjukdom själv som köper mer och mer SSDer också.