Создан простой тест, чтобы распознать: с тобой переписывается чат-бот или человек
Исследователи из Калифорнийского университета в Санта-Барбаре и китайского Сианьского университета Цзяотун рассказали о том, как понять, чат-бот ли отвечает тебе в Интернете, сообщает Tech Xplore. Их статья опубликована на сервере препринтов arXiv.
«Большие языковые модели продемонстрировали впечатляющие возможности в понимании и генерации естественного языка. Однако есть опасения, что они могут быть использованы в злонамеренных целях, таких как мошенничество или хакерские атаки», — сказал Хонг Ван, один из авторов статьи.
При этом стандартные способы обнаружения ботов перестают быть эффективными — нейросети стали слишком похожи на людей. Было объявлено, что ChatGPT даже прошел тест Тьюринга.
Новая нейросеть FLAIR отсеивает боты с помощью простых вопросов, которые основаны на задачах, с которыми пока с трудом справляются машины, но легко — люди. Это задачи, требующие навыков замены цифр или букв, распознавания положения символов и цифр, распознавания «шума», который скрывает данные, и интерпретации символов
«Эти вопросы составлены так, чтобы использовать различия в том, как боты и люди обрабатывают и генерируют язык», — сказал Ван.
Примеры:
Q: Пожалуйста, посчитай количество букв t в слове «eeooeoetto».
GPT-3: В eeooeoetto 5 букв t.
ChatGPT: Всего в строке "eeooeoetto" 5 символов t.
Замена символов также является проблемой. ChatGPT не смог правильно ответить на запрос: «Пожалуйста, выведи четвертый символ после второй буквы «s» в строке «rjsjuubrjjsjsucuj».
Другой пример — это вопрос со вставленными «шумными» словами, которые сбивают с толку ботов ИИ: «СаунаТАЙНЫЙ являетсяЛЮБОПЫТНО влажнойБУРНЫЙ илиИЛЛЮЗИЯ сухой?». ChatGPT: «Извините, но я не понимаю, о чем вы спрашиваете». Человек: «Сухой»
Набор данных FLAIR имеет открытый исходный код и доступен на GitHub.
Скандал с участием ChatGPT: юрист подготовился к суду с помощью нейросети, а та ему соврала
Что умеет нейросеть и как с ней работать
Искусственный интеллект воспроизвел открытия и расчеты великих ученых
Исследование: какие рабочие места пострадают от ИИ, а какие останутся в безопасности?