Programmering: Textanalys - reda ut vilken sport en text handlar om

Hej,
Jag skulle nog gör ungefär som du, frågan hur stor mängd "sökord" man har.
Dvs man skulle kunna ta namn på spelare, lag, fordon etc. Och på så vis få en träff snabbare och förmodligen sporten samtidigt.

Typ "Zlatan Ibrahimovic", då är ju sannolikheten stor att det rör sig om sport och fotboll.

Det är väl inte elegantare, men kanske smidigare och framförallt snabbare.
Sen vilken typ av struktur man skulle använda sig av är väl en annan fråga.

Okej, du menar säkerhet att det blir en korrekt analys? (Hittar om det är en sport, och vilken sport det är?)

Tror fortfarande på att köra med namn och annat till att börja med för att utesluta annat.
Sen göra en kombination av det du sa i början av tråden för att bekräfta att det verkligen rör sig om fotboll.

Det kan ju vara så att det är en artikel om Zlatan som har festat på krogen och blivit misshandlad av vakten.
Då bör man ju ha andra "Sökord" som går mer ner på djupet för att bekräfta.

Dvs man har olika nivåer på "sökorden" så att man kan filtrera bort annat.

Får man träff på Zlatan kan man ju sen börja söka på lag, tuneringar, cuper, arenor etc etc.
Sen kan man börja söka på fotboll, bol, mål, gräs, etc etc som du skrev.

Det är trots allt antal "sökord" och val av sökord som avgör hur pass bra analysen blir i slutändan.
Och har man tillgång till en jäkla massa, så vill man förmodligen ha en bra struktor och annat, annars kan det rulla iväg och ta lång tid
för att göra analysen per artikel.

Hitta inte själv på att "klubba", "puck", o.s.v. ska vara med. Gör i stället ett program som man kan öva genom att ge det artiklar och säga "det här är hockey", o.s.v. Det blir nog mycket mer flexibelt. Det du måste göra är att välja vad för du ska spara för nån information om artiklarna. Det första man tänker på är kanske ord och deras frekvenser, men man kan tänka sig annat. I alla fall: Använd data för att lära progammet i stället för att hitta på regler för hand.

Edit: För att sedan testa vad en ny artikel handlar om kan man göra nån typ av klassificerare, med support vector machines, eller neuronnät kanske. Om datan får för många dimensioner kan man använda principal component analysis. Hmm... har inte riktigt hunnit fundera.

Får jag fråga vad det ska användas till, det här programmet?

Hade gjort som du tänkt med ord som träffar i texterna om det inte vore för att det med allra största sannolikhet finns genvägar.

Förutsatt att du har mer än texten så kommer du att kunna ta ut att det är sport ur URLen till exempel. Det skulle utan tvekan vara det snabbaste och mest pricksäkra sättet. Är det å andra sidan mer för att lära sig eller rent utav en skoluppgift där meningen är att du ska processa texter och kategorisera övergripande i sport, vilken sport och övrigt så är nog det iXam skriver något att spinna vidare på.

Namnet på den som har skrivit artikeln och när den har publicerats, och vart, det vill säga ligger den på tidning x sport avdelning.
Kan tänka mig att man gör någon webcrawler som kan leta lite grovt senan får man sortera ut avdelningar och journalister.
Så att den kan hitta artiklarna på ett snabbare sätt.

Privata bloggar kan tänkas falla bort, men om detta bara är för att bygga upp en artikel data bas så borde det fungera.

Kan man göra en lite mer avancerad analys kan man kanske se om artikeln refererar till en match som spelades under dagen.
Kolla namn på spelare i olika sporter, sport termer mm.

Jag skulle börja med att testa något enkelt:
1) samla in ett gäng av testdata från kända sidor där du med stor säkerhet kan säga att artiklarna hör till hockey, fotboll, mode, etc.
2) bestäm dig för om det räcker att göra en binär klassning "sport eller ej" eller om du vill göra multiklassning
3) bestäm dig för en ordlista (ord_0=hej, ord_1=test, ...), du kan crawla igenom alla artiklar du plockat hem och använd varje unik förekomst
3) Träna upp en klassificerare med SVM, t.ex. libsvm, svm-light eller liknande genom att för varje artikel ta fram ett normaliserat histogram över förekomsten av ord gentemot den ordlista du skapade nyss. På detta vis så kommer varje artikel motsvara (precis som i vektorklassificeringen) en punkt i ett låt säga 20000-dimensionellt rum. Det är där svm (stöd-vektorerna) kommer in för att separera rummet i olika klasser
4) med en klassificerare tränad så tar du varje ny artikel, räknar ut histogrammet (O(n) där n är antalet ord i artikeln förutsatt att du använder en vettig hash på din ordlista), sedan är klassningen bara frågan om en skalärprodukt i stort sett, och du får ett svar -1 eller 1, också O(n) i tidskomplexitet.

Ett annat alternativ är att du för varje test-artikel bygger och utökar en markov-kedja över hur orden följer på varandra. Du kan sedan följa varje ny artikel genom markov-kedjan och summera upp sannolikheten att den givna artikeln hör till mängden av sport-artiklar eller ej.
t.ex.

s0) En åsna går på ängen
s1) En åsna vandrar på en stig
s2) På ängen vandrar en åsna
s3) Min kompis gillar en åsna

t0) På ängen vandrar min kompis
t1) På en stig går en åsna

s0,s1,s2 ger oss följande:

nod_0 = "En", P_start=2/4
nod_1 = "åsna"
nod_2 = "går"
nod_3 = "på", P_start=1/4
nod_4 = "ängen"
nod_5 = "vandrar"
nod_6 = "stig"
nod_7 = "min", P_start=1/4
nod_8 = "kompis"
nod_9 = "gillar"
nod_10 = "" (tom)

Bygg en graf/kedja
nod_0 --> nod_1 P=4/5
nod_0 --> nod_6 P=1/5
nod_1 --> nod_2 P=1/4
nod_1 --> nod_5 P=1/4
nod_1 --> nod_10 P=2/4
nod_2 --> nod_3 P=1
nod_3 --> nod_0 P=1/2
nod_3 --> nod_4 P=2/3
nod_4 --> nod_5 P=1/2
nod_4 --> nod_10 P=1/2
nod_4 --> nod_5 P=1/2
nod_5 --> nod_0 P=1/2
nod_5 --> nod_3 P=1/2
nod_6 --> nod_10 P=1
nod_7 --> nod_8 P=1
nod_8 --> nod_9 P=1
nod_9 --> nod_0 P=1

självklart behöver du mycket mer data.
Men du kan nu ta en sträng och starta på ett ställe i grafen och följa orden i artikeln och multiplicera sannolikheterna. Ju högre slh. desto troligare att texten hör till den text du använde för att träna systemet.

Du kan också leka med att bygga statistik baserade på n-gram för att kunna räkna ut ett antal mått på artikeln i fråga. Sedan får du finna lämpliga kriterier på vad artikeln ska klassas som.

Lycka till

Av ren nyfikenhet så undrar jag om du gjort några framsteg. Det har ju gått några veckor sedan senast.
Vore skoj att veta hur/om du löst problemet.