Коммерческое ранжирование Яндекса (перевод)

Переводы некоторых интересных и важных документов уже есть в сети, но когда мы их проверяли, то периодически находили серьезные фактические ошибки, поэтому всегда работаем с первоисточниками и вот как сейчас делимся своей версией перевода исследования про коммерческое ранжирование Яндекса с читателями блога.

Для чего придумано?

Для того, чтобы ранжировать те документы, которые уже являются высокорелевантными для данных запросов.

На что обратили внимание:

• на доверие пользователей;
• юзабилити;
• качество дизайна;
• качество сервиса.

Для ранжирования используется сумма коммерческой и тематической релевантности.

Уходя с головой в SEO, многие вебмастера забывают о пользовательских факторах. А удовлетворенность пользователя на коммерческих сайтах может варьироваться очень сильно. В частности, значительное влияние на поведение пользователей оказывают: дизайн, механизм онлайн обратной связи, отзывы пользователей о товарах.

Формальные критерии, которые характеризуют удобство для пользователя, дизайн и уровень доверия, должны быть созданы на базе аспектов качества сайта, которые важны для пользователя. Такими критериями могут быть: длина текста, грамотно написанный контент, читабельность тайтлов, наличие карт, информация о компании, легкие для запоминания телефонные номера, бесплатная доставка и т.д.

Есть работы, которые описывают подходы для сбора дополнительных данных о качестве сайтов. Например: агрегация оценок из нескольких источников, таких как мнения пользователей и данные о кликах или текстовая релевантность и время публикации.

В своем документе мы предлагаем новый подход, который включает в себя создание новых аспектов релевантности и внедрение некоторых фич, которые позволяют оценивать релевантность по предложенным нами метрикам.

Шкала оценки коммерческой релевантности

В отличие от тех, кто предлагает оценивать данные о кликах и учитывать мнения пользователей, мы предпочитаем использовать оценки асессоров, т.к. такая методика вносит меньше шума в данные, чем сравнение данных о кликах с данными из тулбара. Если использовать только два последних типа данных, то очень сложно определить, остался ли пользователь удовлетворенным результатом поиска. Поведение пользователя, который задал коммерческий запрос, может очень сильно изменяться в зависимости от категории продукта, его стоимости и т.д. (сравните доставку пиццы и покупку линзы для фотоаппарата). В то же время, эти источники могут дать полезные данные, поэтому, мы дали к ним доступ асессорам.

Мы выбрали четыре показателя качества, которые, мы уверены, дают всю необходимую информацию. Это означает, что сайт качество которого определено с помощью измерений данных показателей, включает в себя множество различных фич. Список метрик качества сайта включает в себя:

• надежность (trustability);
• юзабилити;
• качество дизайна;
• качество обслуживания.

Мы разработали детальные инструкции для асессоров. Согласно этим инструкциям, оценка состоит из двух этапов. На первом этапе асессор должен определить, является ли данный документ тематически релевантным для данного запроса. Мы используем шкалу с пятью оценками релевантности: нерелевантный, релевантный, высокорелевантный, полезный и витальный.

Оценка же качества сайта является более сложным, время- и трудозатратным занятием, чем оценка тематической релевантности (а особенно — получение информации из данных о кликах). В нашем случае ситуация частично становится легче за счет того, что нужно оценивать только релевантные сайты.

Мы не рассматриваем документы, оцененные как витальные или полезные, т.к., зачастую, они являются единственным нужным пользователю результатом поиска. Как уже говорилось ранее, мы рассматриваем только практически одинаковые по релевантности результаты.

На первой стадии оценки, определяется количество и разнообразие сервисов и продуктов, предлагаемых документом по данному коммерческому запросу. Мы определяем три оценки разнообразия ассортимента: мало, стандартно, много. Оценка разнообразия ассортимента для запроса q и документа d определяется V(q,d).

На второй стадии оценки для всего сайта определяются надежность, юзабилити, качество дизайна и обслуживания. У надежности и качества обслуживания есть 4 возможных оценки: спам, стандартно, хорошо и отлично.

Сайт получит отметку «спам», если он не позволяет сделать покупку или заказать указанную услугу (фейковый сайт). Сайты с пометкой «стандартно» не являются плохими, но не отличаются ничем особенным от тысяч других похожих коммерческих сайтов. Хорошие сайты предоставляют пользователям стандартный набор услуг, а отлично получают известные лидеры рынка. Надежность и качество обслуживания для сайта обозначаются T(s) и S(s)соответственно. Обратите внимание, что эти показатели не зависят от пары запрос q и документ d.

У юзабилити и качества дизайна есть только три оценки: плохо, хорошо, отлично. Эти показатели обозначаются как U(s) и D(s). Все значения для указанных выше показателей варьируются от 0 до 1.
Для использования в будущем информации о качестве в течение обучения ранжированию (машинное обучение — прим. переводчика), мы привели четырехмерную оценку к одному показателю коммерческой релевантности:
где R^c(q,d,s) — это показатель коммерческой релевантности для запроса q, документа d сайта s.

Вес надежности и уровня обслуживания в два раза выше, чем у других показателей. Это сделано по причине того, что мы считаем эти свойства более важными с точки зрения удовлетворенности пользователя, но не рассматриваем такой выбор коэффициентов как единственно возможный).

Обучение ранжированию с новыми показателями

Оценка коммерческой релевантности — это очень слолжная задача и, при прочих равных, количество меток коммерческой релевантности будет значительно меньше, чем меток для тематической релевантности. Мы не можем не принимать во внимание оценки для тематической релевантности, у которых нет соответствующих оценок коммерческой релевантности. Это может привести к уменьшению выборки, ухудшению процесса обучения и, как следствие, ухудшению работы функции ранжирования.

Таким образом, перед началом обучения процессу ранжирования, мы должны экстраполировать метки коммерческой релевантности на всю обучающую выборку. Процедура экстраполяции состоит из двух шагов. Во-первых, мы обущаем функцию ранжирования на небольшой выборке, которая содержит только метки коммерческой релевантности. Результирующая функция ранжирования дает нам ожидаемое значение коммерческой релевантности R^c(q,d,s), которое обозначается R^с_est(q,d,s):

После этого мы применяем функцию ранжирования из первого шага ко всей выборке с метками тематической релевантности. Это возможно, т.к. мы используем одни и те же методы ранжирования для обеих выборок. Т.к. только высокорелевантные документы получат оценки коммерческой релевантности, то эти ожидаемые оценки вычисляются только для пар запрос-документ, у которых очень высокий показатель тематической релевантности. Все остальные пары запрос-документ в обучающей выборке получат нулевое значение коммерческой релевантности.

Получив значения для показателей коммерческой релевантности для всех тематически релевантных результатов запросов коммерческой направленности в нашей выборке, мы вычисляем единую оценку релевантности:

где R^f(q,d) — это значение тематической релевантности, R^u(q,d,s) — это единая оценка релевантности и альфа — это весовой коэффициент.

Используя единую оценку, мы обучаем функцию ранжирования на всей выборке. Весовой коэффициент альфа выбран эмпирически так, чтобы он максимизировал влияние коммерческой релевантности, но не влиял на метрики тематической релевантности. В итоге мы получаем функцию ранжирования, которая предсказывает единую оценку релевантности, которая, в свою очередь, включает тематическую релевантность и коммерческую.

Особенности измерения качества сайта

Для более точного предсказания новых меток релевантности, которые включают тематическую и коммерческую релевантность, мы предлагаем определенные способы, специфические для коммерческих сайтов. Они новы в том смысле, что практически непригодны для ранжирования в терминах тематической релевантности, т.к. метки тематической релевантности не несут никакой информации о релевантности коммерческой. Но для аппроксимации коммерческой релевантности эти способы очень важны, т.к. они дают понимание о качестве страницы.

Из некоторых разработок в этой области мы выбрали некоторые многообещающие способы и дополнили их своими разработками. Таблица 1 представляет список некоторых способов, использованных в нашем исследованием. Обратите внимание, что большинство этих методов — доменного уровня, которые агрегируют информацию из всех документов коммерческого сайта. Это согласуется с фактом того, что, согласно формуле (1), коммерческая релевантность зависит от качества сайта в целом.

Сравнение обучения ранжированию с и без описанных методов качества дано в разделе результатов.

Таблица 1.Параметры, для измерения качества сайта

1. Детальная контактная информация.
2. Страницы компании в социальных сетях.
3. Отсутствие рекламы.
4. Количество различных товаров.
5. Детальность описания товаров.
6. Наличие службы доставки.
7. Наличие техподдержки (почта, телефон, форма обратной связи).
8. Система онлайн консультаций.
9. Скидки.
10. Читабельность имени домена.
11. Средняя длина URL.
12. Средняя длина Title’ов.
13. Соответствие заголовка страницы её содержимому.
14. Средняя вложенность URL.

Новые метрики для метода оценки

Для оценки своих результатов мы разработали две NDCG-подобные метрики основанные на человеческом мнении о коммерческих сайтах. Первая метрика представляет собой взвешенное качество результатов поиска для данного множества коммерческих запросов. Его значение для запроса q определяется как:

где R^c(q, di,si) — это коммерческая релевантность для i-го результата поисковой выдачи для запроса q.

Общее значение этой метрики для данного набора запросов — это просто среднее значениеGoodness(q) среди всех запросов из множества. Чем выше это значение, тем лучше результат поиска.
Наша вторая офлайн метрика показывает соотношение низкокачественных результатов поиска для коммерческих запросов. Аналогично первой метрике, она вычисляется для заданного множества запросов как среднее для запросо-зависимых значений по всему множеству. Выражение для запросо-зависимых значений выглядит так:

где th — это порог минимальной коммерческой релевантности для результатов поиска. Чем меньше это значение, тем лучше результаты работы поисковой системы.
Также, мы используем AB-тестирование и чередуем онлайн эксперименты, чтобы оценивать свои результаты.

Результаты и обсуждения

Мы предложили новый способ измерения качества документов для коммерческих запросов — коммерческую релевантность. Мы разработали несколько свойств ранжирования для оценки качества сайта. Мы предложили метод экстраполяции дополнительных меток релевантности для всей обучающей выборки, что позволяет нам не терять в процессе обучения никакую информацию о тематической релевантности.

Мы разработали оффлайн DCG-подобные метрики, наблюдали их изменения на протяжении экспериментов и внедряли информацию о качестве в функцию ранжирования. Рис. 1 показывает изменение метирки Goodness за некоторое время до и после модификации функции ранжирования. Горизонтальная ось — это ось времени, а вертикальная ось показывается относительное значение нашей метрики.

Можно увидеть, что значение метрики увеличилось примерно на 30% по сравнению с предыдущим значением. Рис. 2 показывает изменение нашей второй метрики — Badness. Как и в предыдущем графике, горизонтальная ось — это ось времени, а вертикальная показывает относительное изменение значения метрики.

Из графика видно, что Badness-метрика уменьшилась примерно на 70%. В то же самое время, значение классической NDCG метрики, вычисляемой только с учетом тематической релевантности, на протяжении всего эксперимента практически не менялось.

Мы сравнили наши результаты с обучением без учета новых коммерческих свойств. Улучшение Goodness и Badness метрик было примерно на 20% меньше, чем с учетом новых свойств.

Наш онлайн эксперимент показал, что пользователи выбирают новые результаты ранжирования на 1% чаще, чем результаты стандартного ранжирования. При AB-тестировании, наши результаты, учитывающие качество, показали уменьшение показателя отказов на 5% и увеличение соотношения кликов к показам на 1.5%.

В следующей работе в процессе обучения будет использоваться набор меток релевантности вместо единственной суммарной оценки. Другой подход к дальнейшему улучшению коммерческих резльутатов поиска заключается в разработке новых коммерческих ранжирующих сигналов.