February 7th, 2014

Огонь
  • volk

Инструкция для асессоров Яндекса

Общие правила

Базовой единицей оценки является оценка рел+. Релевантный ответ предоставляет решение пользовательской задачи (бывают запросы, для которых задача, по сути, одна, а бывают запросы, для которых существует спектр задач или которым соответствует несколько объектов поиска).

Если страница позволяет решить сразу несколько задач (для запросов с несколькими потребностями), информации гораздо больше, чем на среднего уровня релевантной странице, она лучше структурирована, - такой странице стоит поставить оценку полезный.
Когда наоборот, страница не полностью решает задачу, слишком сужает её или наоборот, расширяет, если страница посвящена малозначительному объекту - тогда оценка должна быть ниже, это рел- ответ.

Витальный ответ - это официальный ответ на вопрос, он несколько отличается от прочей шкалы. Для многих запросов витального ответа не может существовать в принципе, потому что нет официального владельца информации по теме. Обычно определить витальный довольно просто, но иногда бывают и более запутанные случаи.

Также в шкале присутствуют две близких по смыслу оценки нерел и не про то. Нерелевантный - это документ, который в целом соответствует теме запроса, но на него не отвечает. Не про то - это оценка для случаев, когда документ не просто не отвечает на запрос, но вообще относится к совершенно другой тематике.

Помимо релевантности есть ещё оценка спама. Для документов, где присутствуют признаки спама, надо поставить оценку "спам", остальные - "не спам".

Документам с оценкой рел+ и полезный также надо ставить срок устаревания (чаще всего - никогда, но некоторые документы релевантны запросу в момент оценки, а со временем теряют релевантность).

Collapse )