Machine Learning w wydaniu praktycznym – Quora competition

Do powyżej przedstawionego problemu najlepiej nadaje się wykorzystanie modelu VSM (Vector Space Model). Umożliwia on przetransformowanie surowego tekstu do jego wektorowej reprezentacji. Każdy “dokument”, w zależności od poziomu granulacji, z jakim mamy do czynienia w naszym problemie, jest reprezentowany jako N-wymiarowy wektor, gdzie N jest liczbą wszystkich pojęć (potocznie zwanych “słów kluczowych”), znajdujących się w analizowanym zbiorze. Warto zatrzymać się w tym punkcie i uściślić pojęcia “dokument” oraz “słowa kluczowe”.

W zależności od złożoności problemu z jakim musimy się zmierzyć w naszej analizie możemy wyszczególnić różnorodne poziomy granulacji, w obrębie których będziemy budować nasz wektor:

W dalszej części artykułu dla uproszczenia zostało zastosowane sformułowanie “dokument d” odnoszące się do poziomu reprezentującego wektor oraz “słowa w” odzwierciedlającego elementy wektora. Dlatego korzystanie z powyższego nazewnictwa pozwala na następujący opis naszego modelu: “Każdy dokument d_i (i=1,…,M gdzie M oznacza liczbę analizowanych dokumentów) reprezentowany jest przez wektor N słów w_j (j=1,…,N gdzie N oznacza liczbę unikalnych słów).

Na powyższym rysunku możemy zaobserwować dwa oddzielne dokumenty reprezentowane przez dwa wektory d_1 oraz d_2. Każdy z tych wektorów składa się z 3 elementów, które w naszej analizie identyfikują 3 unikalne słowa.

Kolejnym problem to ustalenie wag poszczególnych słów. Analizując zbiory tekstowe należy sobie zadać pytanie: “Które współdzielone słowa są istotne dla podobieństwa tekstów?” Jest to w gruncie fundamentalne pytanie, które każdy analityk powinien sobie zadać. Możemy wyróżnić kilka sposobów określenia wag słów:

Niestety funkcja logarytmiczna, podobnie jak liniowa, nie gwarantuje możliwości ograniczenia funkcji odgórnie, przez co dążą one do nieskończoności wraz ze wzrostem częstotliwości występowania słów. Problem ten zaczyna być istotny momencie występowania bardzo licznej grupy słów w dokumencie, które przejmują zdecydowanie większą część wagi wektora.

Do takich słów należą szczególnie wspomniane wcześniej słowa z grupy “stop words”. To zjawisko sprawia, że rzadkie słowa, które mogą mieć szczególne znaczenie w analizowanym dokumencie zostaną dyskryminowane. Aby uniknąć tego problemu, można zastosować transformację BM25, dla której można ograniczyć wartości wag TF górną granicą dla y = (k+1). Natomiast gdy wartość k będzie bardzo duża, powyższa transformacja sprawi, że funkcja ta będzie zbliżona do funkcji liniowej.

Mając już wygenerowane odpowiednie wektory słów, przedstawiające odpowiednio analizowane dokumenty, łatwo sobie wyobrazić, że każdy taki dokument jest scharakteryzowany przez punkt w przestrzeni wielowymiarowej.

Dlatego należało wyznaczyć funkcję podobieństwa, która opisałaby stopień podobieństwa dwóch wektorów. W przypadku jedno- lub dwuwymiarowej przestrzeni, intuicyjnym wydaje się zastosowanie miary euklidesowej. Niestety, w momencie, gdy mamy do czynienia z analizą tekstu, każdy wektor reprezentowany jest przez kilkadziesiąt do kilku tysięcy elementów.

Jako jedną z miar które zastosowaliśmy w naszym rozwiązaniu była miara kosinusowa, która bazuje na iloczynie skalarnym dwóch wektorów i oblicza kąt między nimi. Jeżeli kąt ten jest zerowy, to analizowane wektory są sobie równe, a miara kosinusowa osiąga wtedy najwyższą wartość równą 1.

Za przykład może posłużyć kilka par pytań ze zbioru treningowego, który posłużył nam w zawodach do zbudowania klasyfikatora:

Biorąc udział w zawodach Kaggle mieliśmy do dyspozycji zbiór treningowych par pytań. Jednym z naszych podejść do analizy leksykalnej powyższych zdań było zbudowanie jednego dużego zbioru pytań.

Byliśmy dzięki temu w stanie wyznaczyć listę unikalnych elementów wektora. Dla powyższego przykładu 4 par pytań, usuwając stop-words, uzyskaliśmy 33 unikalne elementy, które posłużyły do opisów poszczególnych pytań. Poniżej zostały przedstawione fragmenty kodu generujące odpowiednio macierz częstości słów (TF), częstość występowania danych słów w obrębie zbioru dokumentów, macierz TF-IDF.