К содержанию

Проверка текста на ИИ-контент: как работают детекторы, почему ошибаются и как читать результат

Детектор ИИ-текста выдаёт вероятностную оценку, а не приговор. Разбираем, почему один и тот же абзац получает разные проценты, откуда берутся ложные срабатывания и что делать с высоким показателем. Внутри: пошаговый сценарий проверки статьи перед публикацией, ограничения файлов и лимитов, критерии доверия к бесплатным сервисам.

Никита

Фаундер SerpJet

Детектор ИИ-текста решает узкую задачу: он отмечает фрагменты с признаками машинной генерации, чтобы проверяющий перечитал их и задал автору вопрос. Именно так работу ИИ-детекции описывает обзор сервисов проверки (sostav.ru). Это сигнал к ручной проверке, а не доказательство нарушения.

Проверка текста на ИИ-контент не определяет авторство. Она не ищет заимствования, для этого существует отдельная функция, и не выносит вердикт о том, соответствует ли статья правилам поисковых систем. Отчёт отвечает на один вопрос: есть ли в тексте статистические признаки, которые модель считает машинными.

Читать результат стоит как "здесь нужно присмотреться". Решение о публикации принимает редактор, и опирается он на содержание: факты, полноту ответа, конкретику. Публичных воспроизводимых замеров точности детекторов на русском языке мало: систематических независимых тестов на русском нет ни у одного сервиса из обзора девяти детекторов (securitylab.ru). Поэтому заявленную точность без подтверждения стоит воспринимать скептически: цифра "99%" на сайте без независимой проверки не доказывает, что инструмент так же точен на ваших текстах.

Что на самом деле показывает проверка текста на ИИ

Чем ИИ-детекция отличается от проверки уникальности

Поиск заимствований сравнивает текст с базой источников и находит дословные и перефразированные совпадения. ИИ-детекция ищет другое: статистические признаки того, как построен текст. Первая функция отвечает на вопрос "списан ли фрагмент", вторая - "похож ли он на машинную генерацию". Путать их дорого: можно оплатить проверку уникальности и удивиться, что отчёта про ИИ нет.

В части сервисов детектор входит в тариф, в остальных его подключают отдельно. В "Антиплагиате", например, поиск заимствований и ИИ-детекция включены в "Стандарт", "Премиум" и пакет за 690 рублей, состав пакетов описан в том же обзоре (sostav.ru). Точные доплаты зависят от пакета и могут меняться, поэтому актуальные условия смотрят в кабинете сервиса. На другие сервисы эти цифры переносить нельзя.

Механику поиска совпадений подробно разбирает материал о том, как работают системы проверки уникальности: шинглирование, n-граммы и пороги чувствительности объяснены там на практических примерах.

Почему "процент ИИ" - не бинарный вердикт

Детектор считает признаки по фрагментам и агрегирует их в процент или шкалу. Отсюда два следствия. Первое: число отражает уверенность модели в наличии машинных паттернов, а не долю текста, "написанного нейросетью". Тридцать процентов не значит, что машина написала треть абзацев. Второе: каждый сервис считает процент по своей модели и со своим порогом, поэтому проценты разных инструментов напрямую не сравнимы, а повторный запуск на том же содержании может дать другое значение, если обновилась версия модели или изменился сам текст.

Общепринятых порогов вроде "выше 70% - точно ИИ" не существует. Сервис, который называет такое число, опирается на свою калибровку, а не на отраслевой стандарт.

Как работает детектор ИИ-текста: признаки, оценки, ограничения

Языковая модель выбирает вероятные продолжения. Из этого рождается узнаваемый рисунок: ровный ритм, типовые связки между абзацами, равномерная плотность информации, низкая вариативность лексики. Детекторы опираются на два базовых статистических сигнала: perplexity (перплексия) - насколько предсказуемо следующее слово, и burstiness - вариативность длины и сложности предложений. Сгенерированный текст обычно однороден, у него ниже перплексия и ниже burstiness, чем у человеческого.

Методы у сервисов разные. Помимо zero-shot статистик вроде перплексии и burstiness применяются fine-tuned классификаторы на трансформерных архитектурах (например, на базе RoBERTa) и коммерческие API. Внутренние модели, наборы признаков и пороги у сервисов разные, публичной документации на этот счёт почти нет, и ни один инструмент не даёт 100% точности. Поэтому один и тот же абзац может получить 15% в одном сервисе и 80% в другом. Это нормальное поведение класса инструментов, а не сбой одного из них. Описание выше - общий принцип работы детекторов, а не спецификация конкретного вендора.

Почему результат зависит от языка, длины фрагмента и редактуры

Язык. Обучающие данные распределены неравномерно: для английского качественных размеченных корпусов заметно больше, чем для русского. Для языков кроме английского точность детекторов ниже, и это прямо указано в документации GPTZero и Originality.ai. Модель, которая уверенно работает на английском, на русском даёт менее устойчивые оценки, особенно на текстах с профессиональной лексикой.

Длина. Два абзаца несут мало сигнала, оценка на них шумная: случайная фраза может выглядеть предельно "машинной". На статье в 8-10 тысяч знаков статистика сглаживается, но усредняется по разделам, и проблемный кусок растворяется в общем проценте.

Редактура. Перефразирование, вставка фактов, цитат и примеров меняют статистику текста. Процент может как упасть, так и вырасти. Рост после правок не означает, что редактор "сделал текст машиннее", просто изменился рисунок.

Практический вывод простой: проверяйте статью целиком, а затем отдельно те фрагменты, которые вызвали вопросы. Так вы увидите и общую картину, и локальные всплески.

Почему возникают ложные срабатывания

Высокий процент на собственном тексте - частая история. Причины обычно такие:

  • шаблонный жанр: инструкции, обзоры, статьи, собранные по жёсткой SEO-структуре с предсказуемыми заголовками;
  • плотная редактура и выравнивание стиля: когда несколько авторов приводят текст к одному стандарту, он становится ровнее и предсказуемее;
  • перевод с другого языка: кальки и гладкие конструкции статистически выглядят "машинно";
  • короткие фрагменты: на двух-трёх предложениях оценка почти случайна;
  • нестандартная разметка: таблицы, списки и подзаголовки, вырванные из контекста, теряют часть сигнала.

Обратная сторона: гладкий экспертный текст, написанный человеком, попадает под подозрение легче, чем живой черновик с оговорками и разговорными вставками. Единой точной цифры доли ложных срабатываний нет: опубликованные значения сильно расходятся. В исследовании 13 детекторов на человеческих текстах доля ложных срабатываний варьировалась от 0,0% до 100,0% (arxiv.org), а исследование семи детекторов выявило ошибочную классификацию более половины эссе не-носителей английского языка (cudekai.com). Поэтому любой, кто называет один конкретный процент как универсальный, скорее всего, выдаёт оценку за измерение.

Как трактовать процент ИИ в тексте и при чём тут поисковые правила

Высокий процент "ИИ" сам по себе не означает нарушения поисковых правил. Яндекс в справке для вебмастеров указывает, что само по себе использование нейросетей не является негативным фактором, если контент качественный, проверен экспертом, не вводит пользователя в заблуждение и действительно помогает решить его вопрос (webmaster.yandex.ru). Некачественным там назван контент, сгенерированный ИИ на основе уже существующего без создания дополнительной ценности: нейросети могут быть помощником автора, но не должны подменять его, лишая текст смысловой новизны, авторского стиля и экспертизы (yandex.ru).

Отдельно стоит оговорить ограничение: официальную документацию Google Search Central по этому вопросу мы здесь не приводим, поэтому не переносим рекомендации Яндекса на Google механически. У поисковых систем разные документы и разная практика, и утверждать что-то о правилах Google без опоры на его справку было бы некорректно.

Отсюда рабочая рамка для редактора: судьбу страницы решает содержание. Если материал отвечает на запрос, содержит проверяемые факты и примеры, которых нет у конкурентов, процент детектора не повод его удалять. Если текст гладкий, но пустой, никакой низкий процент его не спасёт.

Что важнее процента: критерии полезности материала

Проверьте статью по этим пунктам:

  • закрывает ли текст поисковый интент, тот ли это формат, который ждёт пользователь;
  • есть ли конкретика: цифры, сроки, названия, условия, шаги;
  • проверяемы ли факты, стоят ли ссылки на первоисточники там, где это уместно;
  • нет ли повторов, воды и абзацев, которые можно удалить без потери смысла;
  • соответствует ли глубина сложности темы: не разжёвано для профи и не переусложнено для новичка;
  • есть ли собственные наблюдения, расчёты или примеры, которых нет в первых десяти выдачах.

Эти критерии работают одинаково для текста, написанного человеком, и для материала, собранного с помощью ИИ. Подробная процедура приёмки с метриками описана в материале о том, как проверить контент на качество перед публикацией.

Чего процент ИИ не говорит о тексте

Полезно держать в голове список того, чего отчёт не показывает:

  • не доказывает авторство: ни человеческое, ни машинное;
  • не измеряет пользу, глубину и точность;
  • не проверяет факты и не находит ошибки в цифрах;
  • не заменяет поиск заимствований и сверку библиографии;
  • не предсказывает позиции в выдаче.

Смежные проверки тоже требуют ручного шага. Совпадения по фамилиям и инициалам нужно сверять глазами: одинаковые фамилии у разных людей - обычное дело.

Практический сценарий: как проверить статью на ИИ перед публикацией

Последовательность, которую можно повторять для каждой статьи.

  1. Зафиксируйте цель проверки. Внутренний контроль качества, требование заказчика и спор с подрядчиком дают разные решения при одном и том же результате.
  2. Выберите сервис и посчитайте объём. Лимиты по знакам и мегабайтам проверяются до запуска, иначе часть статьи просто не попадёт в проверку.
  3. Прогоните статью целиком. Общий процент покажет, есть ли смысл копать.
  4. Проверьте отдельно подозрительные фрагменты. Два абзаца, из-за которых возник вопрос к подрядчику, загружаются отдельно и дают более чёткий сигнал, чем вся статья.
  5. Прочитайте отмеченные места и задайте автору вопросы по фактам и источникам. Это главный шаг: детектор только указал, куда смотреть.
  6. При спорном результате перепроверьте другим сервисом и вручную, по содержанию.
  7. Зафиксируйте решение в редакционном чек-листе: кто проверял, чем, что решили и почему.

Что делать при спорном результате

Спорный результат - это когда отчёты расходятся или процент высокий, а текст явно содержательный. Порядок действий такой. Сравните отчёты двух сервисов: если один даёт 20%, а второй 85% на одном и том же фрагменте, доверия к цифре мало. Посмотрите историю текста: кто писал, по какому брифу, была ли глубокая редактура. Запросите у автора черновики и список источников.

Дальше решайте по содержанию. Если материал собран генерацией без доработки, отправляйте его на переработку: добавить проверяемые факты, примеры, конкретику, убрать общие формулировки. Обход детектора как самоцель не решает задачу читателя и не должен становиться частью процесса.

Ограничения проверки документов и файлов

Проверка документа на ИИ упирается в технические рамки. Первое: лимиты тарифа по знакам и мегабайтам. Второе: форматы файлов, которые сервис принимает. Третье: то, как он извлекает текст из документа. Таблицы, сноски и подписи к изображениям могут не попасть в анализ, и вы проверяете меньше, чем думаете.

Считайте знаки с пробелами заранее и сверяйтесь с лимитом в мегабайтах. Крупные документы делите на части, но помните: на коротких кусках оценка шумная, поэтому дробите по смысловым блокам, а не по 2000 знаков. Для ориентира: сервис проверки уникальности из обзора принимает до 95 тысяч знаков за раз (условия и лимиты), и это про поиск заимствований, а не про ИИ-детекцию. У Text.ru логика расходов другая: для ИИ-проверки нужен отдельный баланс нейросимволов, а стоимость проверки зависит от способа их покупки; минимальный объём проверки - 100 символов (text.ru). Точные расценки на нейросимволы смотрите в кабинете сервиса: они могут меняться. Повторная отдельная проверка того же текста обойдётся дороже, чем выбор обеих функций до оплаты.

Если объём большой, пригодится разбор того, как проверять большие тексты и не упираться в технические лимиты.

Бесплатные детекторы ИИ-текста: где польза, а где риск

Бесплатные детекторы ИИ-текста выглядят удобно: вставил абзац, получил процент. Проблемы начинаются, когда такой результат становится основанием для решения.

Риски категории, а не конкретных брендов:

  • урезанные лимиты: проверяется фрагмент, а не статья;
  • упрощённые модели и непрозрачные критерии: непонятно, что именно измерялось;
  • нестабильность: два запуска подряд дают разные цифры;
  • конфиденциальность: неопубликованные материалы уходят на чужой сервер, и вы не знаете, как их хранят;
  • отсутствие отчёта, который можно приложить к процессу и показать заказчику.

Критерии разумного использования простые. Бесплатный сервис годится для быстрой первичной проверки фрагмента и для личного любопытства. Как единственное основание для решения о публикации он не подходит. Для регулярной работы нужен сервис с воспроизводимым отчётом, понятными лимитами и возможностью вернуться к результату через месяц. Похожая логика действует и в проверке уникальности: бесплатная проверка онлайн показывает меньше, чем платная, и об этом стоит помнить, когда сравниваете цифры из разных отчётов.

Как снизить долю машинных признаков без потери смысла

Снижать процент имеет смысл через доработку содержания, а не через маскировку. Что реально меняет текст:

  • проверяемые факты с указанием источника: цифры, даты, условия, названия документов;
  • конкретные примеры из практики проекта, с деталями, которые не собрать по шаблону;
  • расчёты и сравнения: сколько времени, денег или шагов экономит решение;
  • удаление общих формулировок и повторов одной мысли разными словами;
  • перестройка шаблонных конструкций: если каждый раздел начинается одинаково, читатель заметит это раньше детектора;
  • уточнение терминов под аудиторию: профи и новичок требуют разной глубины.

После такой правки процент часто падает, но это побочный эффект, а не цель. Намеренная маскировка текста под человеческий ради обхода детектора не добавляет пользы и не должна становиться задачей редакции.

Как встроить проверку в редакционный процесс

Проверка работает, когда у неё есть место в цепочке: бриф, черновик, фактчекинг, проверка на ИИ и уникальность, редактура, публикация, обновление. На каждом шаге свой ответственный и свой артефакт. Тогда отчёт детектора превращается в задачу для автора, а не висит в воздухе.

Практические детали, которые экономят время: проверяйте на этапе, когда текст уже собран, но ещё не свёрстан; храните отчёты вместе с версией статьи; фиксируйте в чек-листе, какие фрагменты вызвали вопросы и как их закрыли. Отдельно держите проверку актуальности: аудит фактов и ссылок ловит устаревшие данные, которых детектор не увидит никогда.

Когда статей десятки, ручная сборка отчётов и переписка с авторами съедают больше времени, чем сама проверка. Здесь помогает автоматизация процесса: SerpJet организует подготовку материалов, их проверку и согласование, публикацию, а также анализ и улучшение уже опубликованного контента. Детектора ИИ в платформе нет, и подменять им проверку она не может, зато снимает рутину вокруг: структура, версии, статусы, публикация. Проверка на ИИ становится одним из этапов контроля качества, а не отдельной бюрократической процедурой.

Финальное правило простое. Смотрите на содержание, а процент используйте как повод перечитать. Если статья полезна, точна и отвечает на запрос, публикуйте. Если нет, правьте или снимайте, независимо от того, что показал детектор.

Автоматизируйте SEO-контент

Темы, статьи с проверкой фактов, публикация в CMS и обновление по данным поиска — в одном сервисе.

5 000 токенов в подарок Начать бесплатно

← Все статьи