Hemligheterna bakom UTF-8 och Unicode

Har kollat på många videos av Numberphile, men en Computerphile var verkligen oväntat, nu är hela kvällen lagd på den kanalen då.

Vänta lite, varför fick jag inte denna video i min subscription inbox eller vad det nu heter? =S

Respect Bell Labs....

Många bra saker kommer från Bell Labs.

Jag tror att fler och fler producenter börajr lägga in stöd för UTF-8.

Jag förstog lite där i början men jag satt och kolla på hela videon och låtsades att jag förstog allt...

Mycket man kan beskylla Microsoft för men detta håller jag inte med om. Microsoft började tidigt med unicode (UCS-2) i Windows NT, jag antar innan UTF-8 ens fanns som idé så de försökte, givetvis kunde det gjorts bättre, (Win 9x hade inte stöd för det vad jag vet) men de var oavsett tidigt med att implementera en form av unicode.
Sedan är Notepad ett dåligt exempel då det från början var gjort (och fortfarnde är) som ett enkelt verktyg att läsa gamla text-filer från DOS, dock har ju Notepad haft Unicode sedan 1993 i NT-baserade system så den var ändå ett decennium före många andra texteditorer.

Bättre att skylla på alla gamla UNIX-system som användes för att bygga mycket av teknologin som finns idag. Sun som var ett drivande företag av utvecklingen hade bara begränsat UTF-8 stöd i Solaris 8 (2001), dvs, 8 år efter Microsoft släppt Windows NT 3.1 med unicode-stöd. Apple Mac OS fick (efter lite googling) unicode-stöd i 8.5 (1998). Sen räcker det inte med att operativen har stöd, alla applikationer måste stödja det också, vilket tog lång tid för vissa.

Sen håller jag med om att förvirringen med BOM och UTF-7/16/32 är jobbig, men det mesta Unicode är som tur är UTF-8 utan BOM idag.

Jag själv har förespråkat Unicode i rätt många år nu. Helst med BOM.
Skriver jag något alls i ren "plain text", så ser jag till att den använder UTF8 / Unicode.
Jag har också suttit och svurit halsen ur led i slöa Microsoft är på att uppdatera sig till nya standarder. Det tog evigheter innan Unicode ens började synas i Windows-världen. När Microsoft väl fick tummen ur *****, så tog det lika många evigheter innan program-makarna började fatta vinken själva.

Och än idag har vi programvaru-företag som "vägrar" använda Unicode. I många fall handlar det om kommunikationsprotokoll som överför texter, däribland många kända chat-protokoll.

Föga förvånande är det i regel amerikanska företag som är extremt sega på att uppdatera sig. Man undrar ju om de ens känner till att det finns en värld utanför Amerikas gränser.
Fast.... vem förväntar sig att Amerika skall uppdatera sig till nya bättre och internationellt anpassade standarder?

Hemligheterna bakom? Trodde det var väldokumenterat hur det funkar

Skickades från m.sweclockers.com

Men det lider ju av exakt det problemet som UTF-8 försöker lösa! Du kan ju inte skriva ett dokument i japanska i Latin1 och räkna med att det går att läsa efteråt. Latin1 funkar ju bara till ett fåtal av de språk som finns.

Latin1 har 256 möjliga tecken, varav 32 är osynliga kontrollkoder, dvs max 224 tecken. Ytterligare 33 används inte, så 191 tecken om jag inte missat något.
Unicode/UTF-8 kan just nu specificera "more than 110,000 characters covering 100 scripts".