Använd AMD-grafikkort via USB

Tinygrad är ett väldigt coolt projekt, och jag har gillat hotz tidigare hårdvaru-hack men sjukt svårt att ta hans påståenden seriöst efter hela hans twitter-bullshit där han satt i stream och vibekodade "lösningar" till problem med plattformen utan att veta hur backend såg ut, blev anställd för att fixa diverse åt musk och sedan gav upp när det vart mer komplicerat än att bara slänga ihop en placeholder "snabb sök" eller vad det nu var och bara anta att allt i bakgrunden skulle lösa sig typ.

Köper att det var en career moonshot och gjorde honom mer relevant igen men från någon som verkat så seriös tidigare så kändes det som så extremt ytlig interaktion, får mig verkligen att undra hur mycket av hans kritik som grundas mest i en rent subjektiv vibe-check.

Tinygrad ser nice ut oavsett, men känns lite som att han ville bygga det från början snarare än att använda rocm. Vill han ha mer användarvänligt finns alltid cuda, om han vill gå low-level kan han ju göra det när han vill. Känns som klassiskt case av att hacker vill bygga en grej men presenterar det som att de inte hade något val för att allt som alla andra använder bara är så extreeemt dåligt.

EDIT: Kan nog var tydligare i vad som stör mig- gillar inte när folk baserar ett project på open source för att förbättra eller utöka vad existerande kodbas gör, och sedan gnäller på att den är så dålig. Jag misstänker att han inte skulle ha det så roligt om ROCm inte var open source. Att han kör reverseengineering och skriver allt från början efter att ha satt sig in i ROCm betyder inte att han kodar i ett vakuum.

Det är väl specifikt 7900XTX som hotz har hållt på med en del vad jag sett, men det är nog inte pga VRAM utan compute-prestanda skulle jag tro, om TPU's specdatabas stämmer:

4090
FP16 (half): 82.58 TFLOPS (1:1)
FP32 (float): 82.58 TFLOPS
FP64 (double): 1,290 GFLOPS (1:64)

7900XTX
FP16 (half): 122.8 TFLOPS (2:1)
FP32 (float): 61.39 TFLOPS
FP64 (double): 1.918 TFLOPS (1:32)

Sedan är ju tensorkärnorna relevanta här med men för low level
och minimalism kanske det är trevligare att fokusera på rå FP eller något?

Sedan nämner artikeln machine learning vilken är en del av AI men inte hela AI- Nvidia är stark i AI generellt pga deras satsningar i ekosystemet, Cuda är alltså en stor del av det. Men Cuda är proprietärt. Tinygrad verkar ju sikta på att vara så minimalistiskt som möjligt och kommunicera så direkt som möjligt med hårdvaran, ROCm är open source vilket jag gissar ger mer möjlighet att klura ut hur saker sker exakt och sedan bygga en egen version.

Undrar också om hotz inte liksom bestämmer sig i förväg vad han tycker och sedan hittar underlag längs vägen ibland. Han låter lite så när man lyssnar på hans rants. Kan mycket väl vara så att han faktiskt inte evakuerat vilken prestanda han kommer få i slutänden så mycket som att han bestämt sig för att han tycker en sak och sedan väljer ett scenario att lyfta fram som motiverar det.
Inget emot det i sig, man ska följa hunches ibland, jag gör mycket så med