CheckGPT.app - Нейросеть для определения текста, сгенерированного большими языковыми моделями (ChatGPT, GPT3, BLOOM, you.com AI).
Мотивация
В конце 2022 года американская компания OpenAI, занимающаяся разработкой искусственного интеллекта, представила чат-бота ChatGPT на базе продвинутой нейросетевой языковой модели GPT-3.5 "davinci", заточенной под диалоговое общение. ChatGPT быстро набрал популярность в сети: за неделю с момента запуска СЕО компании Сэм Альтман отчитался в своем Twitter об 1 млн пользователей. Чем этот чат-бот привлек аудиторию и за счет чего он показывает такие результаты?
Разговорный ИИ чатбот ChatGPT и его способность давать комплексные ответы в режиме реального времени уже были названы потенциальным прорывом в разработке искуственного интеллекта [1] [2].
ChatGPT - революция в мире работы с информацией. Её поиск, создание, обработка теперь никогда не будут прежними. 2022 год без сомнения войдет в историю, как отправная точка для больших генеративных моделей, как языковых так и text-to-anything (Text-to-code, Text-to-image, Text-to-video, Text-to-3D, Text-to-music, Text-to-audio и др).
ChatGPT полностью перевернул правила игры. Он показал потенциал искусственного интеллекта во всей красе. ChatGPT может не просто писать стихи и книги, песни, приветственную речь или статью для блога. Он может написать резюме, да такое, с которым вас оторвут с руками и ногами крупные компании. Он может защитить вас в суде или даже помочь написать диссертацию.
Компания Microsoft вкладывает в OpenAI 10 млрд $, а в Google объявлен "красный код" и проводятся экстренные совещания с Брином и Пейджем по вопросу новых угроз от чат-ботов.
В то время как большинство людей, впервые взаимодействующих с ChatGPT, поражены возможностями, есть и другие, которые обеспокоены тем, какое влияние эта новая технология может оказать в ближайшие годы и десятилетия.
ChatGPT умеет писать синтаксически, грамматически и логически связанные тексты любой длины с сохранением логики и связанности. Например школьники и студенты могут в короткие сроки получать уникальные тематические сочинения и рефераты, доклады и дипломные работы. Ученые могут использовать нейросеть для создания научных работ и статей, неотличимых от профессиональных работ, написанных людьми. Рост плагиата от языковых моделей так же является вызовом.
Например, студент из РГГУ (РОССИЙСКИЙ ГОСУДАРСТВЕННЫЙ ГУМАНИТАРНЫЙ УНИВЕРСИТЕТ), написал и защитил бакалаврский диплом с помощью ChatGPT. Причем "с помощью" означает "ChatGPT написала огромные куски работы, и они вошли в дилом практически без редактирования". Суммарно на написание и редактирование диплома ушло 23 часа. Это с учетом времени, потраченного на оптимизацию запросов к ChatGPT. Вишенка на торте — системы антиплагиата оценивают текст как уникальный на 82%.
Контент, получаемый от ChatGPT ёмок и информативен, релевантен для поиска и может упрощать сложные человеческие понятия в различных сферах для понимания и обучения. ChatGPT обладает большой обобщающей способностью, что позволяет описывать сложные понятия и их комбинации просто, как если бы очень умный человек объяснял ребенку на пальцах.
Риски
Новые возможности приносят новые потенциальные угрозы. В короткие сроки интернет может заполниться гигантскими объемами сгенерированной большими языковыми моделями "синтетической" информации.
Важно понимать, что такая "синтетическая" информация генерируется далеко не всегда в благих целях. Например в целях введения в заблуждение, пропаганды, дезинформации и обмана людей на невиданном ранее уровне правдивости и жонглировании фактов, их подтасовке, которую очень сложно отследить.
Как определить что текст сгенерирован нейросетью (ChatGPT и ей подобными)?
Мы задумались над этим вопросом с момента появления ChatGPT и в результате создали собственную нейросеть CheckGPT, которая с точностью до 98% определяет, написан ли текст с помощью большой языковой модели (ChatGPT, GPT3, BLOOM и др) или его написал человек.
Как работает CheckGPT?
Для определения сгенерированного или написанного человеком текста, мы используем комбинацию статистических и эвристических методов.
- Статистические признаки учитывают такие метрики как индекс читаемости и связанности текста, комплексная сложность текста, перплексия, количество уникальных и сложных слов, длина слов и предложений, количество символов и др, юниграмы и токены.
- Эвристические признаки в том числе учитывают извлеченные определенные речевые обороты и слова, нестандартные формулировки и конструкции предложений, отклоенения от текстов, написанных человеком.
В результате работы появился ML алгоритм для классификации текстов, который использует в том числе следующие метрики:
- Перплексия (perplexity) или же «коэффициент неопределённости» — метрика оценки языковых моделей. Она определяет сложность текста.
- Автоматический индекс удобочитаемости (automated readability index (ARI) — мера определения сложности восприятия текста читателем, аппроксимирующая сложность текста.
- Корреляция встречаемости речевых оборотов в текстах.
- Индекс сложности текста (text complexity).
- Индекс удобочитаемости Флеша (Flesch reading ease formula) — метрика, использующая формулу, оценивающую сложность текста.
- Индекс Колман-Лиау (Coleman–Liau index)) — индекс удобочитаемости, который наряду с индексом ARI может использоваться для определения сложности восприятия текста читателем путём аппроксимирования сложности текста.
- Уникальность текста - метрика определения вероятностных и уникальных слов и их комбинаций в предложениях.
- Связанность предложений (cohesion) - и лексическая связность текста или предложения, которая соединяет их в единое целое и придает им смысл; одна из определяющих характеристик текста/дискурса и одно из необходимых условий текстуальности..
- Когерентность (Coherence) - метрика оценки целостности текста, заключающаяся в логико-семантической, грамматической и стилистической соотнесённости и взаимозависимости составляющих его элементов (слов, предложений и т. д.).
- Индекс смешанности (Code Mixing Index) - метрика обозначает спонтанное переключение предложения или речевой составляющей.
- другие know-how решения.
Проверим текст из данной статьи через CheckGPT:
На текущий момент:
CheckGPT умеет определять тексты написанные:
CheckGPT реализован и запущен в виде:
- Telegram бота @checkgpt_bot
- RESTApi
- веб приложения https://checkgpt.app.
Вы можете проверить результат его работы на собственных текстах и сравнить эффективность определения, а так же встроить его в логику своего приложения.
На текущий момент CheckGPT распознает только русский и английский языки.
В планах адаптировать алгоритм определния на китайском языке.
Связь с авторами в телеграм: @uberwow
Как обнаружить сгенерированный нейросетью ChatGPT текст?