Яндекс.Толока: вступайте в ряды асессоров

Яндекс потихоньку выкатил интересный сервис для асессоров - Толока. Теперь любой желающий может принять участие в оценке качества поиска. Для этого нужно лишь зарегистрироваться и выбрать задание из списка.

На данный момент были зафиксированы два типа заданий:

• Определение документов с контентом для взрослых.
• Оценка релевантности документов.

Вот пример задания: «Определите, может ли этот документ быть полезен пользователю, задавшему этот запрос»

Справа даны варианты ответов, из которых выбирает асессор. В помощь предлагается небольшая инструкция:

Мы считаем документ релевантным, если он в какой-то степени полезен пользователю, например:

• это именно тот сайт, который указан в запросе;

• это официальный сайт, если он помогает ответить на вопрос;

• этот документ дает хороший или нормальный ответ на запрос;

• этот документ относится к запросу, но предоставляет неполный, косвенный ответ или отвечает на второстепенную возможную трактовку запроса, но тем не менее имеет ненулевую ценность.

За каждое выполненное задание асессор получает от 1 до 5 центов. Вознаграждение выплачивается на PayPal или Яндекс.Деньги в суммах от 10 долларов и выше.

Сам Яндекс описывает Толоку как сервис, где встречаются заказчики работы и исполнители. Заказчики размещают задания, связанные с анализом и оценкой контента. Пользователи оценивают. Отметим, что Яндекс никак не анонсировал данный сервис. Его обнаружили вебмастера, заметив на свои сайты переходы с https://toloka.yandex.com/pools.

Через несколько часов после обнаружения сервиса интернет-сообществом Яндекс дал официальный комментарий:

Яндекс.Толока — это бета-версия краудсорсинговой платформы для сбора пользовательских оценок, которую мы запустили около двух недель назад.

Большинство сервисов Яндекса построено на машинном обучении алгоритмов. Но чтобы алгоритмы обучались, им периодически нужны массивы человеческих оценок. Иногда оценки реальных пользователей важны и для принятия тех или иных решений по развитию продуктов Яндекса. Чтобы получать такие данные, у нас есть асессоры - специальные люди, которые помогают делать выборку для наших алгоритмов.

В последнее время количество запросов от сервисов Яндекса к асессорам растет, и мы решили опробовать краудсорсинговую модель - когда за денежное вознаграждение задания разного формата и содержания выполняют все желающие.

Ассортимент доступных для выполнения заданий зависит от наших потребностей в текущий момент, поэтому изменяется с течением времени.

Необычное название – Толока – означает давнюю балтославянскую традицию. Жители деревни объединялись, чтобы вместе сделать большое дело — собрать урожай, вырубить лес, построить дом или церковь. Такой же идеей руководствуется и Яндекс.