Söndagsmatiné: Det kluriga problemet att förutspå framtiden

Permalänk
Melding Plague

Söndagsmatiné: Det kluriga problemet att förutspå framtiden

Att föra över en fil kan ta en minut eller möjligtvis en vecka. Förloppsindikatorns beslutsångest är ämnet för veckans video.

Läs hela artikeln här

Visa signatur

Observera att samma trivselregler gäller i kommentarstrådarna som i övriga forumet och att brott mot dessa kan leda till avstängning. Kontakta redaktionen om du vill uppmärksamma fel i artikeln eller framföra andra synpunkter.

Permalänk
Musikälskare

Väldigt intressant och perfekt till min försenade frulle

Visa signatur

❀ Monitor: ASUS Swift 27" @ 1440p/165Hz ❀ CPU: Ryzen 7700X ❀ Cooling: Corsair H170i ELITE 420mm ❀ GPU: MSI 3080 Ti SUPRIM X ❀ Memory: Corsair 32GB DDR5 Vengeance ❀ Motherboard: ASUS Crosshair X670E Hero ❀ M.2: Samsung 980 Pro ❀ PSU: Corsair HX1200 ❀ Chassi: Corsair 7000X ❀ Time Spy: 19 340

📷 Mina fotografier
🎧 Vad lyssnar du på just nu?

Permalänk
Medlem

Har inte sett videon (jobbar) men får mig att tänka på spel som går från 0-99 på några sakunder men sen kan sen fastna på sista procenten i över en minut (eller längre) . Ibland tror man att spelet har kraschat.

Permalänk

Intressant. Har själv försökt resonera med folk som reagerar på att "tid kvar"-infon på datorer ändras hela tiden – det handlar rimligen handlar om att förutsättningarna ändras under resans gång. Så vid varje givet tillfälle stämmer "tid kvar" ganska bra om inte förutsättningarna ändras. Vilket de gör ibland.

Visa signatur

• Fractal Design North | ASUS ROG Strix B650E-F | Ryzen 7 7800X3D | Radeon RX 7900 GRE | 64 GB RAM | Windows 11
• Mac Pro (Mid 2010) | 6-Core Intel Xeon ”Westmere” | Radeon RX 5700 XT | 32 GB RAM | macOS 12 Monterey | Windows 10
• MacBook Pro 14" | M2 Max | 96 GB RAM | macOS 14 Sonoma

Permalänk
Hedersmedlem

Denna är väl obligatorisk:

Permalänk
Hedersmedlem
Skrivet av Elgot:

Jo, den är ju med i bilden på förstasidan (och videon) till och med.

Visa signatur

Asus ROG STRIX B550-F / Ryzen 5800X3D / 48 GB 3200 MHz CL14 / Asus TUF 3080 OC / WD SN850 1 TB, Kingston NV1 2 TB + NAS / Corsair RM650x V3 / Acer XB271HU (1440p165) / LG C1 55"
Mobil: Moto G200

Permalänk
Avstängd

Handlar det inte om att en stor fil når högre hastighet och utifrån den hastigheten så är det viss tid kvar? Om den istället får massa små filer så går det inte lika fort varav lägre hastighet och den utgår då ifrån om den kör samma hastighet med resterande filer och därmed längre tid kvar? Fast ja, om då bara är en stor fil kvar så blir det inkorrekt och då går den plötsligt till lite längre tid kvar.

Visa signatur

"Företagsboendeförmedlare" | Min Überkill Dator: Processor: Intel Pentium P5 66 Mhz OC | Moderkort: ASRock P4I65G | Minnen: 2st Samsung 128MB PC133 | Grafikkort: Canopus GeForce 256 DDR | Lagring: IBM 350 4,4 MB | Operativsystem: DOS/360 | Chassi: Mercury Full-Tower ATX Chassis |

Permalänk
Medlem

Har sedan länge tittat på hans videos, kul att se att fler ifrån Sverige gör så

Permalänk
Medlem
Skrivet av AplAy:

Handlar det inte om att en stor fil når högre hastighet och utifrån den hastigheten så är det viss tid kvar? Om den istället får massa små filer så går det inte lika fort varav lägre hastighet och den utgår då ifrån om den kör samma hastighet med resterande filer och därmed längre tid kvar? Fast ja, om då bara är en stor fil kvar så blir det inkorrekt och då går den plötsligt till lite längre tid kvar.

I princip borde det vara så, det finnas dock rätt mycket andra parametrar som påverkar beroende på vad det är för typ käll- och destinationsmedia, destinationsplats (t.ex. nätverk), cache, hur full eller fragmenterad en disk är, hur läshuvud mår, annan samtidig aktivitet på diskarna osv. I teorin bör man kunna räkna ut hur långt det är kvar så länge man först har kategoriserat storlekar, antal filer, samt kopierat några filer av varje storleksordning. Men i slutändan måste ju ändå någon form av maskininlärning under hela förloppet eftersom förutsättningarna helt enkelt kan förändras.

Detta problem borde dock minska något allteftersom mekaniska hårddiskar fasas ut, större delen av söktiden och liknande kan då mer eller mindre räknas bort. Sedan finns det ju annat som kan påverka när det gäller SSD och nätverk, så det är nog fortfarande inte något som är helt trivialt att räkna ut.

Permalänk
Hedersmedlem

Det jag är ett par saker jag inte förstår efter att ha tittat på videon, och som jag är förvånad inte nämndes.

För det första gör han poängen att det inte bara går att titta på "megabyte per sekund", eftersom när man kopierar små filer så är det så mycket overhead i filsystemet att den overheaden tar över jämfört med själva överföringen av datat inuti filerna.

Jag förväntade mig då att han skulle börja ta upp om inte "antal objekt per sekund" är ett mer relevant relevant mätvärde för att kopiera många små filer, men han kom aldrig till den slutsatsen.

Om jag skulle få jobbet att implementera en progress-dialog för filkopiering så skulle jag fundera på om jag inte kunde försöka karaktärisera filkopieringstid med en slags linjär formel, som t.ex. t = k + as, där t är tiden det tar, k är hur lång tid det tar att kopiera en liten fils metadata, a motsvarar överföringshastigheten för själva datat[/i], och s är filens storlek.

För att räkna ut k och a så borde det ju räcka med att helt enkelt ploppa in mätningar av t utifrån s (vilket man får när man faktiskt kopierar filer!) i en tabell och utifrån det räkna ut en anpassad rät linje. Det borde ju vara mycket mer precist och mindre känsligt för fluktuationer i filstorlek än en approach där man bara tittar på överföringshastighet, som i hans naiva exempel med att uppskatta tid det tar att resa med taxi + tåg + flyg + taxi etc, med varierande överföringshastigheter.

För det andra så säger han att det inte går att använda historisk data, och att det inte vore meningsfullt att försöka använda andra användares data för syftet. Jo, förmodligen, men varför inte helt enkelt spara informationen som man får ut genom faktiska mätningar av filkopieringar på samma dator? Dagens datorer är ju så snabba och har så mycket lagringsutrymme att man borde kunna avvara några kilobyte eller megabyte någonstans för att spara information om hur snabb ens diskar är.

Det finns ju ett antal komplikationer som gör att denna "räta linjen"-modell inte riktigt funkar. Till exempel så påverkas överföringshastighet både av var man kopierar från och till. Det påverkas också av fragmentering, cache-effekter, etc, men visst borde en sån här tvåvariabelanalys som sparar historik ändå vara mycket bättre än en envariabelanalys?

Och har man fler variabler som man tror kan ha en linjär påverkan så kan man ju kasta in de variablerna i en linjär regression och kalla det för "AI".

Nu jobbar ju en massa väldigt smarta människor på Microsoft, och även jobbar med utveckling av andra operativsystem och filhanterare, och jag har ju svårt att tro att inte minst en person har tänkt i samma banor, så sannolikt är det ju lite mer komplicerat än så, men jag hade hoppats på en liten djupare dykning in till *varför* något sådant i såfall inte är implementerat, eller om det är implementerat, varför det inte funkar.

Eller kanske till och med skriva lite kod och testa.

Permalänk
Medlem

Lite AI med rätt uppsättning inparametrar på detta så hade problemet varit ut världen. Så himla godtyckligt är det inte.

Permalänk
Medlem
Skrivet av aliassund:

Lite AI med rrätt uppsättning inparametrar på detta så hade problemet varit ut världen. Så himla godtyckligt är det inte.

ML inte AI.

Visa signatur

Ny signatur!

Permalänk
Hedersmedlem
Skrivet av DanTheManSwe:

ML inte AI.

ML är en sorts AI.

Permalänk
Medlem
Skrivet av pv2b:

[...]
Och har man fler variabler som man tror kan ha en linjär påverkan så kan man ju kasta in de variablerna i en linjär regression och kalla det för "AI".

Skrivet av aliassund:

Lite AI med rrätt uppsättning inparametrar på detta så hade problemet varit ut världen. Så himla godtyckligt är det inte.

Skrivet av DanTheManSwe:

ML inte AI.

Skrivet av pv2b:

ML är en sorts AI.

Saxat från en tweet från någon i branschen (fritt översatt): "När vi söker finansiärer heter det AI, när vi anställer heter det ML, och när vi gör jobbet heter det Regression"

Visa signatur

Här hade jag en historik sen 1990-talet, men den blev tillslut för lång. Aktiva maskiner 2022-framåt:
Work/Play/Everythingstation: AMD Epyc 7443p, Pop OS host, Win10 + Linux guests (KVM/Qemu)
Work/Play nr 2: AMD Phenom II 1090t, Debian + Win 10 (dual boot)
Server x3: Epyc 7252 (TrueNAS Core), Atom 2550 (FreeBSD, backup), Opteron 6140 (Ubuntu, off prem backup)
Retrohörna under uppbyggnad: Dual Pentium Pro 200MHz, Pentium P54C 90MHz, Gravis Ultrasound MAX

Permalänk
Medlem

Finder i Apple räknar sällan fel. Den gör också en koll ifall filen får plats på mediat innan det kopieras istället för att haverera vid 99%
Winblow$ räknar först uppåt för att kompensera för felberäkningen men stannar ändå av vid feta filer i tex ett zip.
Installation av X-Plane är ett bra exempel...

Visa signatur

⚙️ Asus ROG Strix Maximus 13 Hero; Core i9, (11900K); ASUS ROG Ryujin 360mm; RTX 3090 ROG Strix; G.Skill Trident Z Royal DDR4-4600 CL20 DC - 64GB ; Samsung 980 Pro 2TB M.2; PSU: ASUS ROG Thor 1200W. CASE: ASUS ROG Strix Helios GX601. 🖥️Asus ROG PG279Q 2560x1440 🖥️, 🖥️🖥️HTC Vive Cosmos Elite, Vive Wireless. ⌨️Steelseries Apex Pro 🖱️Steelseries Rival 600

Permalänk
Medlem
Skrivet av pv2b:

Det jag är ett par saker jag inte förstår efter att ha tittat på videon, och som jag är förvånad inte nämndes.

För det första gör han poängen att det inte bara går att titta på "megabyte per sekund", eftersom när man kopierar små filer så är det så mycket overhead i filsystemet att den overheaden tar över jämfört med själva överföringen av datat inuti filerna.

Jag förväntade mig då att han skulle börja ta upp om inte "antal objekt per sekund" är ett mer relevant relevant mätvärde för att kopiera många små filer, men han kom aldrig till den slutsatsen.
...

Har för mig att han nämnde att man inte ser progress under en filkopiering och därav inte heller hur fort det går tills filen är klar, men det var några veckor sedan jag kollade klippet. Hur justerar man beräkningen om man har flera parallella filkopieringar? Hur gör man när man har få filer av olika storlekar?

Det enda man kunde få reda på på den tiden var filstorlek samt antal filer, vet dock inte om fillistan och storleken hämtades initialt då det eventuellt kan ta tid (speciellt på äldre system och hårddiskar).

Så ja, testa gärna att koda lite!

Permalänk
Medlem

Windows är på version 11 och många år har passerat. Windows Explorer kan fortfarande inte konststycket att köa upp filkopiering. Allt på en gång vilket raserar prestandan på mekaniska diskar. Man får själv sitta och trycka på paus/start-knapparna.

Permalänk
Medlem
Skrivet av dblade:

Windows är på version 11 och många år har passerat. Windows Explorer kan fortfarande inte konststycket att köa upp filkopiering. Allt på en gång vilket raserar prestandan på mekaniska diskar. Man får själv sitta och trycka på paus/start-knapparna.

Blir det verkligen någon märkbart sämre prestanda? Jag tycker det bara splittar prestandan mellan överföringarna. Men kan hålla med om att det borde köa så att en överföring blir klar åt gången.
Hur svårt kan det vara att kolla om man redan gör en överföring till samma hdd...

Visa signatur

www.fckdrm.com - DRM år 2024? Ha pyttsan.

Permalänk

Jag anser mig ha haft bra rätt med att förespå framtiden. Problemet har dock varit att förespå när.
Redan runt år 1998 hade jag smartphone som man kunde surfa på internet med och fullstort tangentbord. Min första smartphone med touth kom runt år 2002. Jag trodde detta skulle slå igenom, men när började folk köpa dessa mobiler i någon större skara? Kanske runt år 2011?

Detsamma gäller krav på skärmar etc. Folk har sagt till mig att den utrustning jag köper är helt onödigt för saker som de själva om något år måste ha för att kunna utföra.

Nå det svåra är nu att förespå framtiden. Det jag tycker gör det svårt är att vi börja närma oss där de fysikaliska lagarna sätter käppar i hjulen för fortsatt utveckling av samma teknik. Och om det blir så att processerna inte blir så mycket snabbare så självklart påverkar detta utvecklingen rejält.
Detsamma gäller de vikbara skärmarna. De finns idag men är bristfälliga. Kommer de få till dessa så det blir riktigt bra och mer eller mindre var persons egendom?
Om gemene person har en mobil som går att vika ut och bli riktigt stor, hur kommer det påverka vad folk gör på mobilen? Vissa säger sig inte förstå poängen med dessa mobiler. Det är dock ofta samma person som sa att GSM mobiler med sms var onödigt.

När det gäller stationära datorer så förespår jag att så länge som gamers köper dessa i stor skara så kommer de finnas och vara bra. Men skulle det vara så att de flesta gamers går över till spelkonsoler, så kommer försäljningen av desktop rasa till den grad att de bara blir dyra och dåliga. Det hör mycket ihop att det är väldigt få anställda som idag får en desktop i jobbet även om de egentligen hade behövt detta.

En annan sak som är lite känslig är att olika märken har haft sina storhetstider som sedan har försvunnit. Kommer Apple kunna råka ut för detta? Knappast inte i närtid skulle jag påstå. Det som skulle kunna ske vore om budgetsaker blev såpas bra så folk inte såg mening att köpa premium, fast då kommer status in.
Man skulle kunna tro att mobiler kommer i detta läge, då budgetmobiler för 1500kr inte är helt kassa. Men man ser ändå på dem lite brister. Men om de dyra mobilerna fortsätter och utvecklas så ser folk mer en skillnad.

Samma sak med laptops. Låt oss leka med tanken att en laptop för 2500kr för den stora skaran fungerar superbra, "allt flyter på" (inte stora spel) , tagenbord, skärm duger. Att då köpa laptops för 10 000kr extra, kanske kan bli mindre attraktivt.

Permalänk
Medlem
Skrivet av pv2b:

Det jag är ett par saker jag inte förstår efter att ha tittat på videon, och som jag är förvånad inte nämndes.

För det första gör han poängen att det inte bara går att titta på "megabyte per sekund", eftersom när man kopierar små filer så är det så mycket overhead i filsystemet att den overheaden tar över jämfört med själva överföringen av datat inuti filerna.

Jag förväntade mig då att han skulle börja ta upp om inte "antal objekt per sekund" är ett mer relevant relevant mätvärde för att kopiera många små filer, men han kom aldrig till den slutsatsen.

Om jag skulle få jobbet att implementera en progress-dialog för filkopiering så skulle jag fundera på om jag inte kunde försöka karaktärisera filkopieringstid med en slags linjär formel, som t.ex. t = k + as, där t är tiden det tar, k är hur lång tid det tar att kopiera en liten fils metadata, a motsvarar överföringshastigheten för själva datat[/i], och s är filens storlek.

För att räkna ut k och a så borde det ju räcka med att helt enkelt ploppa in mätningar av t utifrån s (vilket man får när man faktiskt kopierar filer!) i en tabell och utifrån det räkna ut en anpassad rät linje. Det borde ju vara mycket mer precist och mindre känsligt för fluktuationer i filstorlek än en approach där man bara tittar på överföringshastighet, som i hans naiva exempel med att uppskatta tid det tar att resa med taxi + tåg + flyg + taxi etc, med varierande överföringshastigheter.

För det andra så säger han att det inte går att använda historisk data, och att det inte vore meningsfullt att försöka använda andra användares data för syftet. Jo, förmodligen, men varför inte helt enkelt spara informationen som man får ut genom faktiska mätningar av filkopieringar på samma dator? Dagens datorer är ju så snabba och har så mycket lagringsutrymme att man borde kunna avvara några kilobyte eller megabyte någonstans för att spara information om hur snabb ens diskar är.

Det finns ju ett antal komplikationer som gör att denna "räta linjen"-modell inte riktigt funkar. Till exempel så påverkas överföringshastighet både av var man kopierar från och till. Det påverkas också av fragmentering, cache-effekter, etc, men visst borde en sån här tvåvariabelanalys som sparar historik ändå vara mycket bättre än en envariabelanalys?

Och har man fler variabler som man tror kan ha en linjär påverkan så kan man ju kasta in de variablerna i en linjär regression och kalla det för "AI".

Nu jobbar ju en massa väldigt smarta människor på Microsoft, och även jobbar med utveckling av andra operativsystem och filhanterare, och jag har ju svårt att tro att inte minst en person har tänkt i samma banor, så sannolikt är det ju lite mer komplicerat än så, men jag hade hoppats på en liten djupare dykning in till *varför* något sådant i såfall inte är implementerat, eller om det är implementerat, varför det inte funkar.

Eller kanske till och med skriva lite kod och testa.

Ja jag tänker i samma banor, vi har ju några uppenbara events som behöver hända:
- börja läsa en fil
- skapa en ny fil
- skriva filens data

De första två händer för alla filer, och är därmed inte så svårt att räkna ut, kolla första filerna och dra ett snitt, sen multiplicera med antal filer

Skriva filens data är ju en start och en slutoperation och säkert ett visst antal operationer per megabyte och de flesta i ordning om filen är stor, det borde gå med lätthet att estimera, och man vet ju på ett ungefär hur stora kvarvarande filer är (baserat på antal och storlek på totalen)

Sen finns ju yttre faktorer som att någon startar en defragmentering halvvägs eller något, men då bör man kunna se att det kraftigt plötsligt avviker från estimatet och då göra ett nytt estimat på datat sedan det började avvika

Antagligen har dom redan tänkt och testat i dessa banor, men jag har träffat alldeles för många inom IT som inte tänker en tum utanför att uppfylla en kravspec eller tänker logiskt/matematiskt på saker

Permalänk
Vila i frid
Skrivet av aliassund:

Lite AI med rätt uppsättning inparametrar på detta så hade problemet varit ut världen. Så himla godtyckligt är det inte.

Mjaä. Nu när allt mer och mer flyttar ut i fluffet/molnet är det himla mycket mer man/AI inte vet något alls om.

Permalänk
Medlem
Skrivet av ELF:

Blir det verkligen någon märkbart sämre prestanda? Jag tycker det bara splittar prestandan mellan överföringarna. Men kan hålla med om att det borde köa så att en överföring blir klar åt gången.
Hur svårt kan det vara att kolla om man redan gör en överföring till samma hdd...

Det räcker ofta med två filkopieringar samtidigt till samma disk för att prestandan ska sjunka till botten. Men det är klart, om dom jobbat i tjugo år på att uppskatta tiden på en progress-bar så kanske det blir lika svårt att avgöra om man kopierar till samma hårddisk.

Permalänk
Medlem
Skrivet av dblade:

Det räcker ofta med två filkopieringar samtidigt till samma disk för att prestandan sjunker till botten. Men det är klart, om dom jobbat i tjugo år på att uppskatta tiden på en progress-bar så kanske det blir lika svårt att avgöra om man kopierar till samma hårddisk.

Kan ju tyckas att de borde känna till varandra och köa upp/synka dem... samma os i botten liksom

Permalänk
Skrivet av ELF:

Blir det verkligen någon märkbart sämre prestanda? Jag tycker det bara splittar prestandan mellan överföringarna. Men kan hålla med om att det borde köa så att en överföring blir klar åt gången.
Hur svårt kan det vara att kolla om man redan gör en överföring till samma hdd...

Det beror på vad du kopierar, är det ett fåtal stora filer är det ingen större skillnad, men är det många små så är det skillnad.

Jag kör oftast med Teracopy på windows då den har kö-funktion och kan verifiera att kopian eller flytten gått rätt till.
Den har bra integration med windows och är gratis.

Permalänk
Medlem

Bättre att ha en progressbar och kb/s istället, och skippa tidsangivelsen helt.

Visa signatur

< :: Intel i9 9900ks@5.0Ghz/Ring@4.5Ghz | 32Gb DDR4@3600Mhz | Geforce RTX 4070 :: >