реализация word2vec с отрицательной выборкой

Question

Я пытаюсь реализовать прямое и обратное распространение для word2vec с помощью skip-грамма. Я новичок в нейронных сетях, но от моего понимания, это то, как он идет: (? Сигмовидной или SoftMax)

1. взять скалярное произведение входных векторов и матрицу случайным образом инициализируется весов
2. Активировать
3. взять скалярное произведение активированного скрытого слоя и другую матрицу случайным образом инициализируется весов
4. Activate (сигмовидной или SoftMax?)
5. мы как-то сравнить вывод, что мы получаем после шага 4, и вычислить производную ошибки (целевых -output) по отношению к каждому весу в матрице. Вычитаем производную от текущего веса. Мы делаем это как для скрытых на выходе слоев, так и для скрытых входных слоев. Мы делаем это много раз, пока не будем достаточно хорошими.

Пожалуйста, исправьте меня, если что-то пошло не так.

Так что теперь мои вопросы:

1. Что должно быть мишенью для обоих правильных пропуском грамм, так и отрицательные образцы? Являются ли они 1 и 0 соответственно? Или это будет контекст скип-графа? Я действительно не уверен.

2. Как следует рассчитать потерю?

спасибо.

Answer 1

Я не знаю, отвечает ли ваш ответ на ваши вопросы или нет, но его для завершения вашего вопроса (я уверен!). На втором этапе я не думаю, что мы используем функцию сигмоида или softmax, потому что первый проект-точка предназначен только для извлечения вектора целевого слова из матрицы W (первая матрица). пожалуйста, посмотрите на них:

http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/

раздел 16.2 этой главы этой книги, это было так себе полезно для меня https://web.stanford.edu/~jurafsky/slp3/16.pdf