векторы слов

Что делать, если у слов не одно значение?

Статья: Improving Word Representations Via Global Context and Multiple Word Prototypes (2012)

Идея: кластеризовать окна контекста, а затем использовать их для обучения векторов слов

1746193133.png

Потом вышла новая статья Linear Algebraic Structure of Word Senses, with Applications to Polysemy (2018)

Идея использовать модель где мы говорим, что у нас есть вектор, который является средним значением всех контекстов

1746193338.png

Как разделить вектор на его составляющие части? Можно использовать теорию разряжённого кодирования (sparse coding theory)