Synka data med torrentliknande system

Permalänk
Medlem

Synka data med torrentliknande system

Fick plötsligt en idé och undrar om den redan finns eller om det finns bra verktyg för att skapa den.

Det jag undrar över är synkning av lite större mängder med data över flertal personers datorer.

Man skulle tjäna in mycket tid om man använde en metod liknande bittorrent där datan sprids från källan i småbitar till de andra datorerna som sedan delar de bitar de har med varandra för snabbare synkning i och med att det inte är speciellt många med speciellt snabba linor och ännu sämre med uppladdningen.

Finns det något sånt här program som funkar både i linux/windows, alt. finns det några bra färdigbyggda bibliotek som kan användas för att skapa ett sånt här system?

Idén är inte speciellt välutvecklad, men hoppas ni förstår konceptet.

Permalänk
Medlem

Typ som att ha ett repo (svn eller dyl) som synkas med bt-teknik?

Visa signatur

"Say unto thine own heart, I am mine own redeemer"
Don't touch me when I'm crazy of that airplane glue

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av DarkBob
Typ som att ha ett repo (svn eller dyl) som synkas med bt-teknik?

Ja... precis, fast alla klienter blir synkade automatiskt så länge tjänsten körs och därmed så kan man utnyttja bt-teknik.

Permalänk

Ja detta hade ju varit hur praktiskt som helst, skulle vara coolt om det fanns något sådant här men tyvärr har jag inte hittat något.

Hade ju varit coolt om man på ett enkelt sätt kunde sätta upp ett slags enkelt kluster för delning utav filer som sprider ut filen på en 4-5 servrar och sedan ger dig en torrent fil. Bygger du sedan ut med fler servrar så sprids automatiskt filerna ut på dessa.

Borde ju gå att lösa med en linux/windows burk som har en torrent klient som automatiskt laddar ner torrents som läggs i en speciell mapp.

Sedan har man ett annat typ skript på en mer central maskin där man gör själva första upp laddningen som automatiskt skapar en torrent fil och laddar upp den till en egen tracker.

Torrent filen läggs sedan i en slags NFS share som alla servrar synkar upp lite då och då. När sedan servrarna eftersom synkar upp sharen med torrent filen i så börjar alla andra servrar att automatiskt ladda ner dessa.

Borde gå att knåpa ihop relativt enkelt tycker man ju, är man riktigt duktig så fixar man en egen tracker med lämpliga verktyg och en schysst front end för hela systemet.

Kanske en automatisk .sfv check om det gäller filer som är arkiverade med .sfv osv för att kontrollera att alla filer är orörda innan torrenten skapas och börjar spridas ut.

Sen gör man en snygg huvudsida man kan lägga på lämpligt ställe som har en lista med alla torrents som finns i nätet samt hur många servrar som seedar ut den.

Får nog börja pilla på något sådant här system själv tror jag! Blev lite sugen nu när jag helt plötsligt kom på att det faktiskt borde gå att genomföra utan allt för stora problem.

Mvh,
Viper@God

Permalänk
Medlem

Torrent filerna är inte nödvändiga i min idé, tjänsterna på de olika datorerna snackar med varandra direkt.

Kan rita lite på idéen så att jag kan förklara bättre, men kom gärna idéer om hur man kan göra och vilka verktyg som finns som man kan använda.

Permalänk

Hmm ah tror jag är lite med på hur du menar.

Typ en mapp med filer som är "speglade" på säg alla maskiner som har typ en klient installerad och tankar man en utav filerna så tankas den från alla uppkopplade klienter precis som med bittorrent.

Hade varit smidigt om man på något sätt kunde nyttja bittorrent till annat än fildelning typ installera en "webserver klient" på massa burkar av varierande prestanda, storlek och lina och sedan när man besöker eller laddar något från sidan så sprids det ut bland alla klienter.

Iof finns det ju server kluster för sånt här fast dom nyttjar väl inte precis multi source hämtning av filerna utan skickar dig till den servern som har minst att göra.

Men skissa på vet jag så kanske vi kan klura ut något.

Mvh,
Viper@God

Permalänk
Medlem

Har funderat och tittat lite mer på idén nu. Har hittat gittorrent, känns dock som extrem overkill med revision control och allt; det jag tänkt mig är simpel synkning med hjälp av torrent utan en masterserver.

Är dock fortfarande väldigt osäker på hur jag vill att idén ska fugera.

De idéer jag har:

- Ett program som snackar med de andra som delar på arkivet där data synkas och förändrar en torrentfil vartefter arkivet uppdateras. Med denna lösning så kan man fortfarande använda vanliga torrentklienter. Det behövs dock en tracker av något slag.

- Den andra idén är ett program sköter allt själv, den vet om vilka andra som är med i gruppen och meddelar dem om man lagt upp ny data och därmed så börjar den direkt ladda upp olika delar till de andra som är aktiva och agerar då ett tag som någon slags tracker.

Som ni ser är inte idéen speciellt välutvecklad, men et jag undrar är om någon mer är intresserad av ett sådant program (ifall det är värt att lägga ner tid på för att skapa) och vilka funktioner ni då skulle vilja ha.

Det är ju trotsallt sommarlov nu och det är inte roligt att bara ligga och glassa i solen

Permalänk
Medlem

Lonsas jag gillar din idé.

Tanken som slår mig är att det finns en server, alltså den som har allt som ska synkas till de andra. Den har också en tracker körandes i bakgrunden. Servern ska sedan själv hålla reda på vad som är nytt och skapa torrentfiler därefter. Dessa kan skickas över något annat protokoll till klienterna, ftp, webserver eller vad som helst.

Klienterna ska i sin tur vart tioende minut kolla om det finns något ny torrentfil att hämta. Sedan är frågan hur torrentklienter ska implementeras. Det skulle även kunna gå att ha separata, dvs utorrent är rätt inställd och sånt så slipper vi bekymmra oss över den delen.

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av Girgoo
Lonsas jag gillar din idé.

Tanken som slår mig är att det finns en server, alltså den som har allt som ska synkas till de andra. Den har också en tracker körandes i bakgrunden. Servern ska sedan själv hålla reda på vad som är nytt och skapa torrentfiler därefter. Dessa kan skickas över något annat protokoll till klienterna, ftp, webserver eller vad som helst.

Klienterna ska i sin tur vart tioende minut kolla om det finns något ny torrentfil att hämta. Sedan är frågan hur torrentklienter ska implementeras. Det skulle även kunna gå att ha separata, dvs utorrent är rätt inställd och sånt så slipper vi bekymmra oss över den delen.

Tanken är att man helst inte ska behöva ha någon master server för att det ska vara enkelt att sätta upp flera arkiv.

Det jag tänkt är även att allt ska ske så automatiskt som möjligt och att det ska kräva så lite som möjligt (ingen dedikerad server och så få datasändningar som möjligt.)

Idén baseras på att man ska kunna skapa privata arkiv som synkas mellan vissa utvalda vänner/datorer

Permalänk

Jag är väldigt intresserad utav det här också men har inte direkt kunskap att koda något helt nytt men jag är gärna med på något hörn och bollar tankar och sådant.

Mvh,
Viper@God

Permalänk
Medlem

Det finns ju redan, GIT, http://git-scm.com/

Visa signatur

weeeee

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av mounte
Det finns ju redan, GIT, http://git-scm.com/

Jag vet att GIT finns och jag tittade vidare på det när jag sökte vidare på ett sådant här program, märkte även att man kunde använda torrentsystem med git nyss. GIT är dock inte det jag söker, jag vill ha en simpel lösning som automatiskt synkar ett arkiv mellan utvalda datorer så effektivt som möjligt.

Platformsoberoende, snabb och simpel är nyckelorden.

Permalänk
Medlem

Delad mapp i Live! messenger?

Visa signatur

Kom-pa-TI-bilitet

Permalänk
Medlem

Okej, hur många datorer rör det sig om?
Om antalet är statiskt så skulle jag rekomendera rdiff-backup eller rsync som är platformsoberoende, sätta upp script som replikerar datan enligt dina önskemål.

Visa signatur

weeeee

Permalänk
Medlem

Det finns program som ligger i närheten av det jag söker, men fortfarande inte riktigt det jag söker + att jag har lust att göra något projekt om det finns användning för det.

Den ursprungliga idén kom ifrån att jag och min klass har ett skapligt stort lager med foton och filmer som hela tiden blir större och större och som vi vill dela, ingen är speciellt teknikkunnig och de flesta har rätt långsamma internetuppkopplingar.
Därmed så tänkte jag på vad det effektivaste sättet för att dela ett arkiv som ständigt uppdateras var. Efter jag klurat lite så fick jag denna idé och undrar nu om den är värd att genomföra.

Idén är lite overkill för mitt ursprungliga mål, men på lite större skala, kanske tiotals/hundratals GB över ca 20 eller många fler datorer så tror jag själv att en sån här lösning kan vara användbar.