Hemligheterna bakom UTF-8 och Unicode

Problem med teckenkodning kan få vem som helst att drömma mardrömmar. Nördkomikern Tom Scott förklarar både problematiken och möjliga lösningar, inklusive finurliga UTF-8.

Många har snubblat över webbsidor och program där både enstaka tecken och hela textstycken blir felaktigt representerade. Problemet är extra tydligt för oss i Sverige, där bokstäverna Å, Ä och Ö ställer till med en hel del oreda.

tomscott.jpg

Grundproblemet är att teckenkodningen ASCII beskriver det engelska alfabetet med stödtecken, men inte de bokstäver som används i de nordiska språken. Lösningen är Unicode med kodningen UTF-8, där över 100 000 tecken finns representerade.

För den som verkligen vill göra en djupdykning i ämnet har Computerphile sytt ihop en video i ämnet. En entusiastisk Tom Scott berättar dels om hur teckenkodning fungerar i allmänhet, men även hur UTF-8 löser komplicerade problem.

Kommentarer till artikeln

42 debattinlägg

Skicka en rättelse
14

Origin Big O är vattenkylt system med kraftfull dator och spelkonsoler under skalet

Under huven för Origin Big O syns spelkonsolerna Playstation 4 Pro, Switch och Xbox One X. I samma chassi finns också en speldator utrustad med Intel Core i9-9900K och Nvidia Titan RTX. Läs mer

31

Priset för DRAM-kretsar har stigit med över 20 procent i juli 2019

Strömavbrott och geopolitiska konflikter uppges ligga bakom kraftigt ökande prisnivåer för DRAM-kretsar, som bland annat används i smarta telefoner och DDR4-minnen. Läs mer

191

Undersökning: Hjälp oss bygga SweClockers 20-årsjubileum!

Vi är igång! SweClockers 20-årsjubileum står för dörren och med fyra månader kvar behöver vi din hjälp. Vad vill du se att vi fyller eventet med? Hjälp oss bygga årets fest! Läs mer

39

Asus presenterar ROG Phone II – spelinriktad telefon med 120 Hz-skärm

Under huven för Asus kommande mobiltelefon sitter Qualcomms spelanpassade och överklockade systemkrets Snapdragon 855 Plus, som får sällskap av 12 GB primärminne och påkostad skärm. Läs mer

56

Vad tycker du ska automatiseras i ett smart hem?

Intresset för hemautomation har ökat världen över och inte minst bland SweClockers medlemmar. Vilka saker tycker du är vettiga att automatisera? Dela med dig i forumet! Läs mer

32

Nvidia Geforce RTX 2080 Super hittar ut i prestandatest för Final Fantasy XV

Den 23 juli ska Nvidias Geforce RTX Super-serie kompletteras med RTX 2080 Super. Nu skymtas modellen i ett prestandatest, där en prestandaökning på drygt 8 procent visas. Läs mer

47

Qualcomm döms att betala 2,5 miljarder kronor för konkurrensbrott i EU

Rättsapparaten i EU går varm, där miljardböter på miljardböter delas ut till företag. Senast ut är Qualcomm, som döms för att ha sålt 3G-kretsar till förlust för att slå ut konkurrenter. Läs mer

32

Google: "Stadia Pro är inte spelvärldens Netflix – mer likt Playstation Plus"

Google förtydligar vad som ingår och inte ingår i prenumerationstjänsten Stadia Pro. Det blir inget stort spelbibliotek i stil med Netflix, utan istället ges omkring ett spel ut varje månad. Läs mer

69

Använder du kylning till din M.2-enhet, eller går det bra utan?

Många nya SSD-enheter utrustas med högpresterande minneskontroller, och sätts sedan i mer eller mindre okylda M.2-platser. Hur har du löst eventuella värmeproblem som kan uppstå, eller är det inget att oroa sig över? Läs mer

91

AMD: "Ursprungspriserna på Radeon 5700-serien var en fälla för Nvidia"

I en intervju avslöjar Radeon-chefen Scott Herkelman att AMD satte påhittade priser på Radeon RX 5700-serien innan lanseringen för att lura Nvidia att sätta för höga priser. Läs mer

14

TSMC tidigarelägger produktionsstarten för 5 nanometer

Med både Intel och Samsung hack i häl accelererar nu TSMC sina planer för utrullningen av tillverkning på 5 nanometer. Massproduktion inleds redan första halvan 2020. Läs mer

107

Med semester och bad på agendan – vilken teknikpryl är ett krav på sommaren?

Med semestern för dörren är det dags för sommarens viktigaste fråga. Vilka teknikprylar är egentligen viktigast när solen bränner som mest? Läs mer