[MXNLP-1-03] Word2Vec: CBOW и Skip-Gram - [1]

В этом видео мы рассмотрим Word2Vec, один из самых популярных методов векторного представления слов. Word2Vec использует две основные архитектуры для генерации векторных представлений слов: непрерывный пакет слов (CBOW) и Skip-gram. Сначала мы кратко рассмотрим статьи, в которых были представлены модели CBOW и Skip-gram. Затем мы рассмотрим архитектуры моделей. Далее давайте реализуем простые модели Word2Vec в Keras. Чтобы упростить задачу, мы используем стандартный softmax для выходного слоя модели. Авторы этой статьи использовали иерархический softmax для сокращения времени вычислений, необходимого для обучения моделей на больших наборах данных. В следующих видео мы подробнее рассмотрим деревья Хаффмана и иерархический softmax, а также реализуем небольшую модель Skip-gram с использованием иерархического softmax в TensorFlow. #Word2Vec #CBOW #Skip-Gram