C++ läsa svenska tecken Linux

http://site.icu-project.org/ t.ex

Jag vet inte vad ditt slutmål är vilket gör det lite vanskligt att ge tips, men för att få ditt exempel att fungera med en minimal förändring så bör du kunna använda wchar_t och wcout enligt:

#include <iostream>
#include <locale>

using namespace std;

int main() {
    locale swedish("swedish");
    locale::global(swedish);
    wchar_t a = L'å';
    wchar_t b = L'ä';
    wchar_t c = L'ö';
    wcout << a << b << c << endl;
    return 0;
}

Det finns mer att säga och läsa om `wchar_t` och multibyte-tecken, så ditt inlärningsmaterial kanske har mer info om hur det är tänkt att ni ska hantera det på den nivå ni är i er kurs.

Jag rekommenderar också att inte dra in hela namnrymden `std` globalt, utan i stället kvalificera anropen när de sker, eller eventuellt dra in vissa objekt explicit med exempelvis `using std::wcout;` och `using std::endl;`. Det är bra att redan från start behöva tänka på varifrån funktioner och konstanter kommer.

Grundproblemet: En char är en byte (signed eller unsigned) medans 'å' representeras av flera bytes, därav multibytecharacter-varningen. Du kan helt enkelt inte lagra representationen av 'å' i en char.

Det där beror väl helt på encoding? Kör man Windows-1252 ASCII så finns å ä och ö representerade i singlebytes. Förutsatt att inputten hanteras som korrekt ascii med korrekt code-page borde det fungera fint.

Ja visst. "Representationen" syftar till hans encoding i.o.m. att han fick multibytecharacter-varningar:)

I C har jag använt följande

#include <locale.h>

setlocale(LC_ALL, "");

Sedan kört med wchar_t

Men är medveten om att C++ inte är exakt samma sak.
Försöker även lära mig C++ så är intresserad av lösningen på problemet.

Edit: http://stackoverflow.com/questions/16944750/c-unicode-charact...

#include <clocale>
#include <iostream>

using namespace std;

int main() {
    setlocale(LC_ALL, "");
    wcout << L'\u2780';
    return 0;
}

Hmm, att sätta LC_ALL till tom sträng borde innebära samma sak som att systemet använder din default locale eller det som är satt i LC_xxx beroende på vad som efterfrågas. I normalfallet borde du då få UTF-8, men såvida du inte har en shellvariabel som overridar LC_ALL borde det kommandot vara en "NOP".

Jo, fast om man inte gör det så verkar åtminstone C ge "C locale".

Edit: Hittade lite om skillnader mellan C och C++ locale
http://stdcxx.apache.org/doc/stdlibug/24-3.html

std::locale::global(std::locale(""));

Är texten skapad i Windows för att sedan analyseras på Linux så brukar det tillkomma ytterligare ett problem - att avkoda windows-teckensnittet när det gäller å, ä, ö. Dessutom brukar radbrytningarna se olika ut på Windows och Linux textfiler.

Du har flera saker att tänka på:

• textfilens teckenkodning (Viktigt om svenska tecken är inblandade):
  * Windows 1252
  * CP437, CP850
  * ISO-8859-1, ISO-8859-10, ISO-8859-15
  * Unicode, UTF-8 (Detta är att föredra)
  ...och radmatningsformatet:
  * DOS/Windows (CR+LF)
  * Unix (LF)

• När textfilen läses in är det bra att tänka på hur innehållet lagras i RAM-minnet.
  Förslag: Spara den stora textfilen i unicode/UTF-8 format.
  Använd wfopen_s med mode "rt, ccs=UTF-8".
  Se kodexempel 1. (Skamlöst stulet från nätet )

• När resultat skall skrivas ut på skärmen.
  Se kodexempel 2. (Skamlöst stulet från nätet )

Kodexempel 1: (Inläsning av UTF-8 kodad fil)

#include <locale>
#include <codecvt>
#include <string>
#include <fstream>
#include <cstdlib>

int main() {
    const std::locale empty_locale = std::locale::empty();
    typedef std::codecvt_utf8<wchar_t> converter_type;
    const converter_type* converter = new converter_type;
    const std::locale utf8_locale = std::locale(empty_locale, converter);
    std::wifstream stream(L"test.txt");
    stream.imbue(utf8_locale);
    std::wstring line;
    std::getline(stream, line);
    std::system("pause");
}

Kodexempel 2: (Utskrift av UTF-8 kodade textsträngar)

#include <iostream>
#include <io.h>
#include <fcntl.h>

int wmain(int argc, wchar_t* argv[])
{
    _setmode(_fileno(stdout), _O_U16TEXT);
    std::wcout << L"Testing unicode -- English -- Ελληνικά -- Español." << std::endl;
}

...och glöm inte: Terminalen/konsolen som resultatet skrivs ut till också kan visa UTF-8/Unicode. Borde vara standard, men det händer att det inte är konfigurerat.

EDIT/Tillägg:
Exemplena är tänkta för Windows/.NET, men principen är densamma, och samma tre punkter att tänka på: Inläsning, bearbetning/lagrin i RAM, utmatning. Alla tre stegen skall ha rätt teckenkodning.
Sedan är det bra att man även sparar sina källkodsfiler i Unicode/UTF-8 format, så eliminerar man ännu en huvudvärk ifall strängar definieras/ skrivs ut direkt.

Just ja, programmet iconv kan omvandla mellan olika teckenformat. Löste någon uppgift där en fil skapad i windows skulle läsas av genom att först konvertera till UTF-8 med iconv.

Jag skulle också köra med en map-baserad lösning (tecken -> #förekomster) och det kan du göra för två- och tre-teckens-kombinationerna också. För tvåteckensfrekvenserna kan ha en map från tecken till samma map som i första fallet. Då använder du de två senaste tecknen, det första för att hitta i vilken map du skall använda för nästa tecken.

Det blir lite pyssel att hantera white space och interpunktion om man bryr sig om det i frekvensanalysen.