Как установить минимальный балл для квалификационного теста?

Question

Я хочу создать квалификационный тест, используя интерфейс командной строки AMT. Этот тест будет использовать только типы вопросов, которые могут автоматически забиваться AMT. Я могу установить индивидуальный балл по каждому вопросу, но не могу найти документацию о том, как установить минимальный проходной балл для теста. Например, если рабочий оценивает ниже 80, я бы хотел, чтобы они не прошли тест. Если они превышают 80, я бы хотел, чтобы они сдавали тест.

Answer 1

Квалификационный тест не работает как пропуск/сбой. Он назначает QualificationScore. Вы можете использовать QualificationValueMapping в AnswerKey для перевода теста в определенный набор квалификационных баллов (см.: http://docs.aws.amazon.com/AWSMechTurk/latest/AWSMturkAPI/ApiReference_AnswerKeyDataStructureArticle.html). Элемент pass/fail должен быть частью вашего QualificationRequirement для конкретного HIT - то есть «pass» должен означать оценку выше порога QualificationRequirement, и сбой должен быть ниже этого. Затем сопоставление позволит вам перевести общие точки в, например, значения выше и ниже порога требования.