Оценка релевантности поисковых результатов по позиции

Первое место в поисковой выдаче не всегда самое лучшее. Иногда лучше занимать второе место, а то и ниже. Особенно если люди посещают сайты, расположенные в выдаче над вашим, и понимают, что те не предоставляют необходимых им услуг, которые предоставляете вы.

И это не голая теория. Я работал с одним сайтом, который годами занимал то первое, то второе место в выдаче по очень релевантному запросу. И на самом деле, когда сайт занимал вторую позицию в выдаче, уровень конверсии был выше, чем когда сайт красовался на первом месте.

Сайт, с которым мы постоянно менялись местами в выдаче, тоже был релевантен поисковому запросу. Фактически оба сайта вполне могли удовлетворить информационные запросы посетителей. Но вот этот второй сайт не предоставлял услуг, основанных на этой информации, а наш сайт - предоставлял. И второе место в выдаче нас вполне устраивало.

А что думают по поводу релевантности и ранжирования в поисковых результатах поисковые машины?

Возможно, некоторые сейчас переоценивают свои более ранние подходы и предположения на эту тему.

Определение релевантности ссылки по ее позиции в поисковой выдаче на соответствующий запрос уже давно занимает исследователей. Одна из моделей, оценивающих релевантность поискового результата относительно порядка расположения ссылок, называется DCG (discounted cumulative gain). Набор поисковых результатов считается хорошим, если вверху расположены наиболее релевантные ссылки.

Статья, опубликованная исследователями из Yahoo! и Google, Expected Reciprocal Rank for Graded Relevance (Ожидаемое ранжирование для градированной релевантности), рассматривает возможности оценки результатов выдачи поисковых машин в ответ на запрос пользователя и предоставляет альтернативную метрику для оценки поисковых результатов взамен DCG.

В статье, в частности, говорится:

Одним из серьезных недостатков DCG является предположение, что полезность документа с ранжированием i не зависит от полезности документов с ранжированием менее чем i.

Недавние исследования по моделированию кликового поведения пользователей продемонстрировали несостоятельность предположения о просмотре на основе позиций, находившегося в основе DCG.

Исследования показывают, что вероятность того, что пользователь исследует документ с рангом i, зависит от того, удовлетворен ли пользователь ранее просмотренными документами из ранжированного списка.

Статья определенно стоит внимания, если вам интересно узнать, как поисковые машины определяют качество своих поисковых результатов. Но будьте готовы к тому, что придется столкнуться с некоторыми математическими выкладками.

Например, в статье читателям предлагается решить, какой набор поисковых результатов предпочтительнее:

• с "идеальным" первым результатом и 19 плохими;
• со списком, в котором все результаты хороши.

Ответ с точки зрения исследователей?

Список с идеальным первым результатом. При поиске пройти мимо первой строки выдачи практически невозможно. Во втором случае пользователь потратит гораздо больше времени, переходя по разным ссылкам, для того, чтобы получить практически аналогичное количество информации.

Выводы

В моем примере с двумя сайтами, борющимися за первое место в выдаче по запросу, оба сайта были релевантны. Но один из них был государственным и ограничивался предоставлением информации, тогда как второй позволял получить некоторые услуги, основанные на той же информации. Многие пользователи как раз и были заинтересованы в услугах.

Когда на первом месте находился государственный сайт, то пользователи, посетив его, гораздо чаще начинали искать применение данной информации и посещать сайты, соседствующие в выдаче с государственным. Когда же на первом месте был не государственный сайт, то люди, приходившие на него, чаще всего искали информацию, за которой и отправлялись впоследствии на государственный сайт.

Интересной концепцией в обсуждаемой статье являются "идеальные" страницы. Названы они так потому, что являются идеальной целью для навигационных запросов, но при этом не учитывается, что намерение пользователя может быть не только информационным, он может искать также какие-либо услуги и т.п.

Пользователи проводят поиск с различными целями. Это может быть желание узнать больше информации по теме, сравнить информацию с содержащейся на других сайтах, а может и выполнить определенное задание, будь то скачивание или покупка. Намерения могут изменяться, к примеру, с поиска информации на получение услуги. Причем изменения могут происходить и в пределах одного сеанса поиска.

В случае такого изменения пользователи будут просматривать результаты вниз по списку, так что занимать вторую позицию может оказаться даже выгоднее, чем первую. Иногда первое место в выдаче это не то, что вам нужно.