Новую методику проведения экзаменов придумал доцент питерской НИУ ВШЭ, преподаватель вводного курса по ИИ для студентов нетехнических направлений Андрей Терников.
Итоговый экзамен проходит в формате теста с вариантами ответов: за 20 минут нужно ответить на 14 вопросов без возможности вернуться к предыдущему. Сам тест выглядит обычно, но в каждом вопросе спрятан невидимый код: когда студент копирует вопрос, отдельные буквы и слова подменяются и в ChatGPT попадает искаженный текст. Например, вопрос про преимущества технологии при копировании и вставке в чат с ChatGPT обрастает фразами о ее недостатках. В результате нейросеть дает неверный ответ.
Помимо этого, в тесте также использовались и другие приемы: блокировка копирования текста на странице, перехват буфера обмена (при попытке вставить текст появлялся другой текст или изображение).
«Запрещать им пользоваться нейросетями на курсе, который посвящен нейросетям, было бы абсурдно. Поэтому правило экзамена было сформулировано так: „Использовать ИИ можно. Бездумно копировать вопросы и вставлять его ответы нельзя“», — рассказал Терников.
Методику тестировали на протяжении двух учебных лет на выборке из более чем 900 студентов. Анализ показал, что около 70% студентов пытались использовать ИИ для прямого копирования вопросов. Именно в этой группе оценки были ниже, тогда как у тех, кто «полагался на собственные знания или использовали нейросеть осмысленно» были «стабильно высокие результаты».