Нейронные сети помогут поиску Яндекса точнее понимать запросы пользователей | Новости компаний

Дата публикации: 02.11.2016
Раздел: Новости компаний

Благодаря новому алгоритму «Палех» поиск будет лучше находить веб-страницы, которые соответствуют запросам не только по ключевым словам, но и по смыслу.

Яндекс запустил новый поисковый алгоритм «Палех», в основе которого лежат нейронные сети. Благодаря «Палеху» Яндекс стал лучше подбирать ответы на редкие и уникальные поисковые запросы. Такие запросы редко повторяются, но в совокупности их очень много – около ста миллионов в день (из общего количества запросов в день 280 млн).

При подборе ответов на запросы поисковые системы используют ключевые слова. Если слова из запроса есть на веб-странице, то она, вероятно, будет интересна пользователю. Но только на слова опираться нельзя: один и тот же смысл можно выразить совершенно по-разному. Тогда на помощь приходят дополнительные данные, например обезличенная статистика: на какие страницы перешли пользователи, задавшие такой же запрос. В случае с уникальными запросами статистики мало или нет вовсе – а значит, поиску труднее понять, какие страницы хорошо отвечают на запрос, а какие нет.

Поисковая модель на нейронных сетях, которую использует «Палех», умеет устанавливать смысловые соответствия между поисковым запросом и заголовками веб-страниц. С её помощью можно выявить, что в запросе и на странице говорится об одном и том же, даже если у них нет общих ключевых слов. Так, поиск поймёт, что в запросе «фильм про человека который выращивал картошку на другой планете» речь идёт о «Марсианине», хотя релевантные страницы могут и не содержать слов «картошка» или «планета».

График частотного распределения запросов в Яндексе часто представляют в виде птицы, у которой есть клюв, туловище и длинный хвост. Редкие и уникальные запросы составляют почти треть всего потока поисковых запросов, поэтому иногда их называют «длинным хвостом» поиска. Новому алгоритму решили дать название «Палех» в честь Жар-птицы – сказочной птицы с длинным хвостом, которая часто появляется в сюжетах палехской миниатюры.

Запросы из «длинного хвоста» очень разнообразны, но среди них можно выделить несколько групп, среди которых, например, запросы от детей («дорогой яндекс посоветуй пожалуйста новые интересные игры про фей для плантика») или запросы от людей, которые хотят узнать название фильма или книги по запомнившемуся эпизоду («фильм про человека который выращивал картошку на другой планете»).