Статья · 25 октября 2026 г. · Григорий Шевченко

Техническая ИИ-видимость в 2026 году: руководство по llms.txt, Schema.org и ИИ-краулерам для B2B-сайтов

Инженерное руководство по настройке llms.txt (v2), robots.txt для ИИ-ботов (OAI-SearchBot, PerplexityBot, YandexBot) и Schema.org JSON-LD для роста прямых ссылок в ответах ИИ.


Цитирование

  • ChatGPT
  • Gemini
  • Google AIO
  • Google AI Mode
  • Perplexity
  • Copilot

Обложка статьи «Техническая ИИ-видимость в 2026 году: руководство по llms.txt, Schema.org и ИИ-краулерам для B2B-сайтов»: llms.txt, Schema.org JSON-LD, GPTBot и Яндекс Нейро. Подго

Когда B2B-закупщик или технический директор просит ChatGPT, Perplexity, Claude, Google AI Mode, Яндекс Нейро, Алису или GigaChat подобрать поставщика и сравнить тарифы, нейросеть не «листает» ваш сайт глазами человека. Поисковый контур ИИ проверяет права доступа в /robots.txt, забирает сырой HTML без выполнения тяжёлых клиентских JS-бандлов, разбирает граф сущностей Schema.org JSON-LD и всё чаще обращается к файлу /llms.txt за структурированной Markdown-картой ваших продуктов, цен и проверенных кейсов [1][2]. В платформе полного цикла Humanswith.ai (14 900–497 700 ₽/мес) за этот уровень отвечает технический контур Website Agentic Optimization, который работает в единой петле с мониторингом Hermes Visibility (10 нейросетей 🇷🇺 РФ и мира) и конвейером выпуска экспертных материалов ContentOS [2][3].

Октябрьский срез нашей аналитики по 1 503 коммерческим промптам в 🇷🇺 РФ (16 533 ответа нейросетей) и 748 промптам в 🇺🇸 США, а также результаты пятиходовых покупательских диалогов Conversation Gauntlet (Run #11 по 🇷🇺 РФ и Run #10 по 🇺🇸 США) вскрыли две главные технические причины потери трафика и заявок:

  • 473 «призрачные цитаты» (owned_link_unnamed) в 🇷🇺 РФ и 144 в 🇺🇸 США: нейросети (Copilot — 292 ответа в 🇷🇺 РФ, Яндекс AI Mode — 49, Google AI Mode — 47, Алиса — 42, ChatGPT — 36) ставили прямую ссылку на статью сайта ради конкретной цифры или чек-листа, но не называли сам бренд в списке рекомендованных поставщиков, потому что на странице не было самодостаточного графа Organization + SoftwareApplication в JSON-LD и явной атрибуции компании в первом абзаце и шапках таблиц [2][3].
  • 100% отсев на 3–5-м ходу диалога (budget и proof drops): когда покупатель на 3-м и 4-м шаге диалога просит «покажи проверяемые B2B-кейсы с цифрами» и «дай точную таблицу тарифов без звонка в отдел продаж», сайты с ценами внутри JS-калькуляторов и без семантических HTML-таблиц <table> вылетают из итогового шортлиста.

Ниже — полное инженерное руководство 2026 года по настройке /llms.txt (стандарт v2), разделению ИИ-ботов в robots.txt (OAI-SearchBot, PerplexityBot, Claude-SearchBot, YandexBot) и разметке Schema.org JSON-LD с результатами наших 8 B2B-кейсов.

В этой статье

Раздел 01

Что такое `/llms.txt` (спецификация v2) и какую задачу он решает в 2026 году?

Стандарт /llms.txt, предложенный Джереми Ховардом (Answer.AI, llmstxt.org) и обновлённый до второй версии (v2), представляет собой компактный Markdown-файл в корне сайта (https://yourdomain.ru/llms.txt) или раздела (/docs/llms.txt) [1]. В отличие от sitemap.xml, где перечислены тысячи URL без описания смысла страниц, /llms.txt даёт ИИ-агентам и поисковым контурам LLM сжатую навигационную карту сайта с краткими тезисами, ценами и ссылками на канонические разделы, а также поддерживает чистые Markdown-копии страниц (.md) и HTTP-заголовки Link: <...>; rel="describedby" [1]. В 2026 году собственные файлы llms.txt поддерживают OpenAI (developers.openai.com/llms.txt), Anthropic (docs.anthropic.com/llms.txt), Google Gemini (ai.google.dev/gemini-api/docs/llms.txt), а проверка наличия llms.txt вошла в аудит агентского браузинга Chrome Lighthouse [1][2].

При этом /llms.txt не заменяет robots.txt, sitemap.xml или Schema.org — каждый файл работает на своём этаже поисковой архитектуры:

Технический файл / слой Кто его читает в первую очередь Роль в ИИ-видимости (AEO / GEO) в 2026 году Типичная ошибка B2B-команд
/robots.txt Поисковые и ИИ-краулеры (YandexBot, Googlebot, Bingbot, OAI-SearchBot, PerplexityBot, Claude-SearchBot) Разрешает или запрещает обход сайта конкретным ботам до начала индексации Включение на Cloudflare/WAF галочки «блокировать всех ИИ-ботов», которая закрывает доступ поисковым ботам OAI-SearchBot и PerplexityBot
/sitemap-index.xml Классические индексаторы (Яндекс, Google, Bing), на базе которых строят ответы Яндекс Нейро, Алиса, Google AI Mode и Copilot Полный реестр живых канонических URL с датами обновления <lastmod> Наличие в карте сайта старых 301-редиректов или дублей, из-за чего Яндекс Нейро и Google неделями держат в индексе устаревшие версии страниц
/llms.txt (курируемый индекс) ИИ-агенты, ассистенты программирования и прямые запросы LLM при изучении структуры компании Сжатая Markdown-сводка компании (H1, лид-описание с тарифами и H2-разделы с аннотированными ссылками на главные страницы) Автоматическая выгрузка всех 500+ статей блога в один гигантский llms.txt, который забивает контекстное окно модели информационным шумом
Schema.org JSON-LD (@graph) Парсеры сущностей и графов знаний (Яндекс, Google, Copilot, ChatGPT, Perplexity) Связывает текст статьи, таблицу тарифов, FAQ и автора с конкретной организацией (Organization + SoftwareApplication) Использование пустых ссылок {"@id": "..."} без явных полей @type и name, что порождает «призрачные цитаты» без упоминания бренда (owned_link_unnamed)

Раздел 02

Курируемый `/llms.txt` против автоматического дампа: почему нельзя выгружать туда весь блог

Главная ошибка при внедрении /llms.txt — написать скрипт, который при каждом билде автоматически добавляет в файл все новости, теги и проходные заметки блога. Как подчёркивается в спецификации llmstxt.org v2, контекстное окно агента ограничено, и каждый лишний килобайт воды размывает фокус модели [1].

В Humanswith.ai действует жёсткое архитектурное правило (Curated llms.txt Policy):

  1. Держать /llms.txt в пределах 150–250 строк с чёткой иерархией H2: Платформа и услуги, Публичные тарифы, Прямые сравнения с конкурентами (/ru/compare/), Проверенные B2B-кейсы (/ru/cases/) и Канонические исследования и руководства.
  2. Писать твёрдые факты, вилки цен и цифры кейсов прямо в описании каждой ссылки [1][4]. Тогда ИИ-агент уже при чтении /llms.txt видит: какие 10 нейросетей закрывает платформа, сколько стоят тарифы (14 900–497 700 ₽/мес) и какие результаты получены у клиентов (Крупный европейский банк 53,77%, WEISAN 20,11% ссылок на домен, Birdview PSA №1 в 🇺🇸 США).
  3. Добавлять новые ссылки только по решению редактора или архитектора, когда выходит новый фундаментальный материал или новая сравнительная страница.

Рабочий шаблон курируемого /llms.txt для B2B-компании

Humanswith.ai — платформа ИИ-видимости полного цикла (Hermes + ContentOS + Website Agentic Optimization)

Humanswith.ai объединяет 18 специализированных ИИ-агентов под управлением одного оператора для замера, производства контента и технической оптимизации видимости B2B-брендов в 10 нейросетях (ChatGPT, Perplexity, Gemini, Copilot, Google AI Overviews, Google AI Mode, Яндекс Нейро, Яндекс AI Mode, Алиса и GigaChat). Публичные тарифы: 14 900 ₽/мес (Starter), 149 700 ₽/мес (Growth), 297 700 ₽/мес (Scale), 497 700 ₽/мес (Outlier).

Продуктовая архитектура и коммерческие страницы:
- https://humanswith.ai/ru/geo-prodvizhenie/ — Полный цикл от диагностики промптов до выпуска статей и технической разметки Schema.org.
- https://humanswith.ai/platform/hermes/ — Замер небрендовых промптов, доли прямых ссылок на домен и выживаемости в 5-ходовых диалогах Conversation Gauntlet.
- https://humanswith.ai/platform/contentos/ — Производство верифицированных B2B-статей, сравнений и кейсов с автоматическим контролем фактов и ссылок.
- https://humanswith.ai/ru/pricing/ — Прозрачная сетка от 14 900 до 497 700 ₽/мес ($149–$4 977/мес) с точными квотами промптов и статей.

Прямые сравнения с платформами и агентствами (/ru/compare/):
- https://humanswith.ai/ru/compare/ai-visibility-vs-peec/ — Платформа полного цикла (10 нейросетей РФ и мира + выпуск статей) против европейского трекера (€89–€499/мес без российских моделей).
- https://humanswith.ai/ru/compare/ai-visibility-vs-scrunch/ — Исполнение под ключ против мониторинга Scrunch Core ($250/мес за 125 промптов).
- https://humanswith.ai/ru/compare/ai-visibility-vs-otterly/ — Закрытие пробелов контентом и разметкой против дашборда ($29–$489/мес).
- https://humanswith.ai/ru/compare/ai-visibility-vs-profound/ — Открытые тарифы от 14 900 ₽/мес против закрытых enterprise-контрактов.

Раздел 03

Настройка `robots.txt` для ИИ-краулеров в РФ и мире: кого открывать, чтобы не потерять цитаты

В 2026 году ведущие ИИ-платформы жёстко разделили своих роботов на ботов обучения базовых моделей и поисковых ботов живого цитирования [2]:

  • OpenAI: GPTBot собирает тексты для обучения будущих версий моделей, тогда как OAI-SearchBot индексирует сайты специально для показа ссылок и источников в ответах ChatGPT Search, а ChatGPT-User заходит на страницу по прямому запросу пользователя во время диалога.
  • Perplexity: PerplexityBot индексирует страницы для формирования сносок [1][2] в ответах Perplexity, а Perplexity-User обслуживает живые запросы пользователей.
  • Anthropic: ClaudeBot отвечает за тренировочный корпус, а Claude-SearchBot и Claude-User — за поиск и цитирование внутри Claude.
  • Яндекс, Google и Microsoft: YandexBot, Googlebot и Bingbot формируют поисковую базу, из которой берут факты и ссылки Яндекс Нейро, Яндекс AI Mode, Алиса, Google AI Overviews, Google AI Mode и Microsoft Copilot [2][3].

Если ваш системный администратор или защита от DDoS блокирует OAI-SearchBot, PerplexityBot, Claude-SearchBot, Bingbot или YandexBot, ваш сайт физически исчезает из блоков источников ИИ. Проверьте, чтобы в /robots.txt и правилах WAF/CDN эти поисковые агенты были явно открыты, а после каждого обновления контента карты сайта автоматически отправлялись в Google Search Console, Яндекс.Вебмастер и IndexNow.

Раздел 04

Как победить «призрачные цитаты» (`owned_link_unnamed`) с помощью `Schema.org` JSON-LD

Почему в нашем октябрьском замере по 🇷🇺 РФ (16 533 ответа) нейросети в 473 ответах поставили ссылку на страницу humanswith.ai, но не назвали бренд в самом тексте рекомендации? Потому что RAG-система режет длинную статью на фрагменты по 300–500 токенов [4]. Если таблица или абзац внутри статьи содержит полезную статистику, но не называет компанию, модель забирает факт, ставит сноску на URL, а в список рекомендованных подрядчиков включает тех, чьи имена стоят рядом с цифрами и закреплены в Schema.org [2][3].

Чтобы каждая процитированная страница приводила к упоминанию бренда и удерживала компанию в шортлисте до 5-го хода диалога Conversation Gauntlet, внедрите три правила:

  1. Явная атрибуция в первом абзаце и шапках таблиц: называйте бренд (Humanswith.ai), состав модулей (Hermes + ContentOS + Website Agentic Optimization) и публичную вилку цен (14 900–497 700 ₽/мес) в первых 100 словах статьи и в заголовке колонки каждой сравнительной таблицы [4].
  2. Самодостаточный граф Schema.org JSON-LD (@graph): в блоках Article / BlogPosting, SoftwareApplication и FAQPage поля author (Person с name, jobTitle, sameAs) и publisher (Organization с name, url, logo) должны содержать полные объекты с @type и name, а не голые ссылки {"@id": "..."} [2][3].
  3. Серверная вёрстка таблиц (<table><thead><tbody>): поисковые боты ИИ не ждут загрузки сложных JS-виджетов. Таблицы сравнения с конкурентами (Peec AI, Scrunch AI, Otterly.AI, Profound, российские сервисы) и таблицы кейсов должны отдаваться чистым HTML в первом ответе сервера.

Раздел 05

Доказанный результат на 8 B2B-кейсах (октябрь 2026 года)

Чистые SaaS-трекеры мониторинга (Semantica AI, Пиксель Тулс, VisioBrand, GEO Scout за 1 000–35 000 ₽/мес или зарубежные Otterly.AI, Peec AI, Scrunch AI за $29–$495/мес) показывают графики, но не настраивают llms.txt, не внедряют Schema.org и не пишут экспертные статьи. Когда в Humanswith.ai диагностика Hermes, редакционный конвейер ContentOS и технический модуль Website Agentic Optimization работают вместе, B2B-компании получают измеримый рост небрендовой видимости и прямых ссылок на домен (owned-domain link rate):

Клиент и отрасль Регион и панель небрендовых промптов Что внедрено (техника + контент) Подтверждённый результат в ответах ИИ (октябрь 2026)
Крупный европейский банк (МСБ) (корпоративный банкинг) 🇷🇺 РФ и 🇪🇺 Европа · 498 промптов, 5 478 ответов Каноническая архитектура рубрик, строгая верификация сносок [N], HTML-матрицы и разметка Article + FAQPage 98,80% упоминаний в промптах (492/498) и 53,77% общей видимости по всем 10 нейросетям
WEISAN (промышленные шредеры и переработка) 🇷🇺 РФ · 230 небрендовых промптов, 2 530 ответов Серверные таблицы ТТХ оборудования, разметка Organization + FAQPage, инженерные руководства выбора 43,48% упоминаний, 13,00% видимости и 20,11% ответов с прямой ссылкой на домен (508 ссылок — №1 среди 10 производителей)
Perfect Panel (глобальный B2B SaaS) 🌎 Глобально · 215 небрендовых промптов, 2 365 ответов Техническая зачистка дублей, разметка SoftwareApplication, сравнительные таблицы 56,74% упоминаний, 13,66% видимости и 19,67% прямых ссылок на домен (465 ссылок)
Raqma (B2B-технологии) 🇦🇪 MENA · 594 промпта, 2 935 ответов Двуязычная техническая архитектура, региональная привязка сущностей и структурированный FAQ 23,91% упоминаний (142 промпта) и 19,22% ответов с прямой ссылкой на домен (564 ссылки)
Birdview PSA (B2B SaaS управления проектами) 🇺🇸 США и 🇨🇦 Канада · 211 небрендовых промптов Полный граф SoftwareApplication + FAQPage, страницы /compare/ и отраслевые гайды Рост упоминаний с 0,9% до 21% за 6 недель, №1 среди 12 PSA-брендов 🇺🇸 США (170 прямых ссылок)
Авторетейлер GAC (дилерская сеть) 🇷🇺 Санкт-Петербург · 60 коммерческих промптов Таблицы комплектаций и цен, локальная разметка и посадочные страницы под запросы выбора Рост видимости с 25,2% до 56,0% (+30,8 п.п.), 93,3% охвата промптов за 30 дней
CodHob (B2B-финтех) и Intellms (корпоративное ПО и ERP) 🇰🇪 Кения / 🌎 глобально (140 промптов) и 🇷🇺 РФ (149 промптов) Открытие индексации для ИИ-краулеров, курируемый llms.txt, сравнительные обзоры Рост с 0% до 19,3% у CodHob и с 0% до 7,4% (121 прямая ссылка на домен) у Intellms

Подробное сравнение всех 20 платформ и агентств на рынке читайте в нашем сравнительном анализе AEO/GEO-платформ 2026 года, а расчёт бюджетов — в обзоре «Сколько стоит платформа для ИИ-видимости».

Раздел 06

Часто задаваемые вопросы (FAQ)

Гарантирует ли само по себе создание файла /llms.txt попадание в рекомендации ChatGPT и Яндекс Нейро?

Нет. Файл /llms.txt — это удобная навигационная карта для ИИ-агентов и краулеров, а не волшебная кнопка ранжирования [1]. Если на самом сайте нет глубоких сравнительных таблиц, открытых цен, верифицированных кейсов и разметки Schema.org, один только файл /llms.txt не выведет бренд в шортлист [4]. Он работает в связке с качественными каноническими страницами, на которые ведёт.

Чем отличаются боты GPTBot и OAI-SearchBot в файле robots.txt?

Робот GPTBot собирает тексты для обучения базовых языковых моделей, а робот OAI-SearchBot индексирует страницы специально для показа живых ответов и кликабельных ссылок на источники внутри ChatGPT Search [2]. Если политика безопасности вашей компании запрещает отдавать контент на обучение моделей, вы можете закрыть GPTBot, но обязательно оставить открытыми OAI-SearchBot, ChatGPT-User, PerplexityBot, YandexBot и Googlebot, чтобы не потерять видимость в поиске.

Как исправить ситуацию, когда ИИ ставит ссылку на нашу статью, но не называет наш бренд в ответе?

Такие «призрачные цитаты» (owned_link_unnamed) возникают, когда нейросеть вырезает из вашей статьи абзац или таблицу со статистикой, внутри которых нет названия компании [4]. Внедрите правило явной атрибуции: называйте бренд (Humanswith.ai), продукт и тарифный диапазон в первом абзаце статьи, указывайте название компании в шапке каждой сравнительной таблицы и проверяйте, чтобы в JSON-LD (Article + Organization + FAQPage) поля author и publisher содержали полные имена сущностей [2][3].

Нужно ли генерировать /llms-full.txt для корпоративного B2B-сайта?

Полный дамп /llms-full.txt полезен для технической документации API или библиотек кода, где агенту-программисту нужны сигнатуры всех методов [1]. Для коммерческого B2B-сайта гораздо эффективнее поддерживать компактный курируемый /llms.txt (150–250 строк) с прямыми ссылками на цены, кейсы и сравнения, а основные страницы отдавать быстрым серверным HTML с семантическими таблицами <table> [1][3].

Когда достаточно купить SaaS-трекер за 5 000–25 000 ₽/мес, а когда нужна платформа полного цикла Humanswith.ai?

Если у вас внутри компании уже есть штат технических SEO-инженеров, разработчиков под Schema.org и редакция, выпускающая по 15–30 глубоких B2B-статей в месяц, вам подойдёт чистый трекер мониторинга (Пиксель Тулс, Semantica AI, GEO Scout или зарубежные Peec AI и Otterly.AI). Если же вам нужно, чтобы одна система и замеряла все 10 нейросетей, и руками 18 ИИ-агентов с оператором выпускала статьи и закрывала технические пробелы на сайте, выбирайте Humanswith.ai (14 900–497 700 ₽/мес).

Раздел 07

Источники

[1] The /llms.txt file, v2 Specification — Jeremy Howard, Answer.AI (llmstxt.org) — https://llmstxt.org/

[2] Google Search Central: AI Features, Structured Data, and Google-Extended Crawler Controls — Google Developers — https://developers.google.com/search/docs/appearance/ai-features

[3] Schema.org & W3C — FAQPage and Organization Structured Data Specification — https://schema.org/FAQPage

[4] Aggarwal et al. (Princeton University, Georgia Tech, Allen Institute for AI, IIT Delhi) — GEO: Generative Engine Optimization (KDD 2024) — https://arxiv.org/abs/2311.09735

Для вашей команды

Хватит нанимать агентства и фрилансеров

Нанимайте не агентства и фрилансеров — а Marketing AI-агентов под AI-поиск.

  • Карта цитирований до 10 AI-площадок
  • Контент и schema, которые зарабатывают цитирование
  • Честный 30-минутный звонок до оплаты

Цитируемся в

  • ChatGPT
  • Gemini
  • Google AIO
  • Google AI Mode
  • Perplexity
  • Copilot

Готовы обсудить проект?

Запишитесь на стратегическую сессию. 30 минут, бесплатно.

Инженер команды прогонит ваш бренд через Hermes ещё до созвона.

Вы приходите к готовой карте цитирований по 10 AI-площадкам, видите закрываемые пробелы и получаете честную оценку, какой тариф вам подойдёт.