Trend a la Twitter

[jarib]

Vise "trendende" ord de siste måneden - a la Twitter trends.

[ivarref]

Enkelt eksempel her (riktignok med deprecated facets feature):
https://gist.github.com/karmi/988619

[ivarref]

Skisse for hvordan man kan finne trender:

Sammenligne to intervall på f.eks. 7 dager.
Se på diff mellom wordcount gitt en minimumsverdi for antall treff.
Hvis diff er minst en gitt størrelse, så kan man anta at det er en trend.

Samme teknikk kan også brukes til å sammenligne språkbruk mellom partier.

[jarib]

Jeg la til et script som demonstrerer bruk av significant_terms i Elasticsearch. Her er topp 10 treff per år for de fire forskjellige algoritmene som støttes:

jlh

2008 | milliarder, budsjettet, finanskrisen, renten, 2009, budsjett, 2008, situasjonen, bankene, tiltakspakke
2009 | milliarder, 2009, 2008, pr, gav, odelstingets, forhold, soria, moria, københavn
2010 | 2010, statsråden, jo, 2009, forhold, altså, saken, debatten, se, gasskraftverk
2011 | 2011, jo, 2010, mrd, 2012, se, andre, norge, faktisk, hvert
2012 | 2012, 2011, tschudi, meldingen, andre, god, grunnlovsforslag, felix, måte, landbruksmeldingen
2013 | åtte, 2013, rød, 2014, høyre, venstre, tilleggsproposisjonen, grønne, mrd, regjeringen
2014 | 2015, arbeiderpartiet, 2014, miljøpartiet, 2013, grønne, senterpartiet, forrige, budsjettforliket, hansson
2015 | triton, bærekraftmålene, bærekraftmål, partisanene, krigshistorien, ressursmobilisering, personvalg, frigjøringen, svalbardmelding, graviditetsdiskriminering

mutual_information

2008 | milliarder, budsjettet, finanskrisen, renten, 2009, budsjett, 2008, bankene, tiltakspakke, 2007
2009 | milliarder, 2009, pr, gav, 2008, odelstingets, københavn, soria, moria, dørum
2010 | 2010, 2009, gasskraftverk, statsråden, mongstad, jo, rensing, preses, vinter, fardal
2011 | 2011, 2012, mrd, 2010, egypt, libya, datalagringsdirektivet, adecco, votering, jo
2012 | 2012, tschudi, meldingen, 2011, grunnlovsforslag, felix, landbruksmeldingen, valgfag, valgfagene, bsu
2013 | åtte, 2013, tilleggsproposisjonen, 2014, fremskrittsparti, rød, todelingen, staahle, skatteklasse, mali
2014 | 2015, miljøpartiet, 2014, arbeiderpartiet, 2013, budsjettforliket, hansson, grønne, senterpartiet, syria
2015 | oppfølgingsspørsmål, barnearbeid, flytoget, bærekraftmålene, triton, lengeværende, 2015, interpellanten, tusenårsmålene, bærekraftmål

chi_square

2008 | milliarder, renten, finanskrisen, budsjettet, bankene, tiltakspakke, jørstadmoen, 2009, anleggsbransjen, olavsvern
2009 | milliarder, pr, gav, odelstingets, 2009, 2008, københavn, dørum, tiltakspakken, moria
2010 | 2010, 2009, gasskraftverk, mongstad, statsråden, rensing, preses, jo, fardal, vinter
2011 | 2011, 2012, mrd, 2010, egypt, adecco, libya, datalagringsdirektivet, votering, fm
2012 | tschudi, 2012, felix, grunnlovsforslag, mågerø, valgfagene, meldingen, landbruksmeldingen, valgfag, 2011
2013 | åtte, 2013, tilleggsproposisjonen, 2014, todelingen, staahle, fremskrittsparti, skatteklasse, mali, rød
2014 | 2015, miljøpartiet, 2014, arbeiderpartiet, 2013, budsjettforliket, hansson, arnstad, syria, samarbeidspartiene
2015 | triton, bærekraftmålene, bærekraftmål, partisanene, krigshistorien, ressursmobilisering, personvalg, frigjøringen, svalbardmelding, graviditetsdiskriminering

gnd

2008 | renten, jørstadmoen, samferdsledepartementet, kommunekreditt, skatteskjerpelsene, pengemarkedet, olavsvern, kredittilsynet, ventemottak, milliarder
2009 | odelstingets, milliarder, ballo, hijab, dørum, gav, pr, københavn, aksjonæravtalen, biodiesel
2010 | preses, kløverhagen, 4352, 4111, 1229, nis, oddekalv, samkjøringsrapporten, icesave, shortsalg
2011 | adecco, personvernalliansen, 5175, fm, tahrir, flyforbudssone, grotten, hunstad, godafoss, piratvirksomheten
2012 | tschudi, felix, mågerø, nordområdelogistikk, fjordfiskenemnd, brystkreftopererte, korpsbevegelsen, crc, finansklagenemnda, rammestyring
2013 | staahle, tilleggsproposisjonen, skatteklasse, åtte, mali, todelingen, sjømatmeldingen, aasta, vekstpakken, blyhagl
2014 | 2015, miljøpartiet, 2014, hansson, budsjettforliket, miljødirektoratet, samarbeidspartiene, arnstad, isil, rasmus
2015 | triton, bærekraftmålene, bærekraftmål, krigshistorien, partisanene, ressursmobilisering, personvalg, frigjøringen, graviditetsdiskriminering, svalbardmelding