17 июля 2022 в Институте социально-гуманитарных наук состоится первая "Своя игра" против систем с искусственным интеллектом. Мероприятие пройдет сразу после конференции "Множественность интерпретаций".
Вопросно-ответные системы, например Алиса от Яндекс, нацелены на то, чтобы ответить на любой вопрос пользователя, даже если он не сформулирован в привычной форме. Около 30 тысяч вопросов в формате интеллектуальной викторины "Своя игра", которые были созданы клубом спортивного "Что? Где? Когда?", представляют собой нетривиальную задачу для таких систем и могут научить их новым навыкам. Мы предлагаем соревнование, на котором системы будут отвечать на вопросы, соревнуясь с двумя опытными игроками. Для каждой системы проводится два раунда вопросов: более легкий и сложный. Затем игроки и система меняются.
Поскольку мы не тестируем акустические технологии QA-систем, во время соревнования каждой системе нужен только интерфейс для текстовых сообщений. Система находится под контролем оператора. Интерфейс, будь то командная строка или графический пользовательский интерфейс, транслируется на экран позади игроков. Когда открывается новый вопрос и ведущий начинает его читать, менеджер игры отправляет вопрос оператору в текстовом виде. Когда система возвращает ответ, оператор нажимает сигнальную кнопку. Если он сделает это раньше двух других игроков, оператор читает ответ, а ведущий оценивает его как правильный или неправильный. Оператор не имеет права изменить ответ системы, но может воздержаться от нажатия кнопки. В остальном правила игры совпадают с классической версией.
Если вы - разработчик и хотите, чтобы ваша программа соревновалась с уважаемыми знатоками, пришлите нам заявку до 3 июля 2022. Помочь в разработке программы может наш репозиторий на GitHub, где есть стартовый набор: датасет вопросов, код с оценкой и даже вопросно-ответная система от DeepPavlov, которая уже может ответить на 16 вопросов из 800.
