Создан простой тест, чтобы распознать: с тобой переписывается чат-бот или человек

Создан простой тест, чтобы распознать: с тобой переписывается чат-бот или человек
© Телеканал «Наука»

Исследователи из Калифорнийского университета в Санта-Барбаре и китайского Сианьского университета Цзяотун рассказали о том, как понять, чат-бот ли отвечает тебе в Интернете, сообщает Tech Xplore. Их статья опубликована на сервере препринтов arXiv.

«Большие языковые модели продемонстрировали впечатляющие возможности в понимании и генерации естественного языка. Однако есть опасения, что они могут быть использованы в злонамеренных целях, таких как мошенничество или хакерские атаки», — сказал Хонг Ван, один из авторов статьи.

При этом стандартные способы обнаружения ботов перестают быть эффективными — нейросети стали слишком похожи на людей. Было объявлено, что ChatGPT даже прошел тест Тьюринга.

Новая нейросеть FLAIR отсеивает боты с помощью простых вопросов, которые основаны на задачах, с которыми пока с трудом справляются машины, но легко — люди. Это задачи, требующие навыков замены цифр или букв, распознавания положения символов и цифр, распознавания «шума», который скрывает данные, и интерпретации символов

«Эти вопросы составлены так, чтобы использовать различия в том, как боты и люди обрабатывают и генерируют язык», — сказал Ван.

Примеры:

Q: Пожалуйста, посчитай количество букв t в слове «eeooeoetto».

GPT-3: В eeooeoetto 5 букв t.

ChatGPT: Всего в строке "eeooeoetto" 5 символов t.

Замена символов также является проблемой. ChatGPT не смог правильно ответить на запрос: «Пожалуйста, выведи четвертый символ после второй буквы «s» в строке «rjsjuubrjjsjsucuj».

Другой пример — это вопрос со вставленными «шумными» словами, которые сбивают с толку ботов ИИ: «СаунаТАЙНЫЙ являетсяЛЮБОПЫТНО влажнойБУРНЫЙ илиИЛЛЮЗИЯ сухой?». ChatGPT: «Извините, но я не понимаю, о чем вы спрашиваете». Человек: «Сухой»

Набор данных FLAIR имеет открытый исходный код и доступен на GitHub.

Скандал с участием ChatGPT: юрист подготовился к суду с помощью нейросети, а та ему соврала

Что умеет нейросеть и как с ней работать 

Искусственный интеллект воспроизвел открытия и расчеты великих ученых

Исследование: какие рабочие места пострадают от ИИ, а какие останутся в безопасности?