Тема 4.1 · Как работают языковые модели: возможности и ограничения

Критическое мышление в эпоху ИИ

4.1 Как работают языковые модели — Модуль 4

Тема 4.1 · Модуль 4 · Критическое мышление в эпоху ИИ

Как работают
языковые модели:
возможности и ограничения

Чтобы осознанно использовать ИИ-инструменты, нужно понимать, как они устроены. Не на уровне математики — на уровне критических концепций, объясняющих поведение этих систем.

🧠

Как работает LLM

Трансформеры, токены, предсказание следующего слова — ключевые концепции без математики

✅

Что умеют делать хорошо

Генерация текста, суммаризация, перевод, кодирование, рассуждение, анализ

⚠️

Фундаментальные ограничения

Галлюцинации, срез данных, нет «понимания», стохастичность

🛡

КМ при работе с ИИ

Как применять критическое мышление к работе с языковыми моделями

💡

Цель темы — не стать разработчиком ИИ, а стать грамотным пользователем: понимать механизм достаточно, чтобы знать, когда ИИ-ответам доверять, когда проверять, а когда — не использовать вовсе.

Базовое определение

Что такое
языковая модель?

LLM — Large Language Model. Принципиально важно понять: что именно делает эта система с точки зрения математики — и почему это объясняет её поведение.

Языковая модель — это система, которая предсказывает наиболее вероятный следующий токен (слово или его часть) на основе предыдущего контекста. Всё поведение LLM — от «умных» ответов до галлюцинаций — вытекает из этого одного механизма.

— Упрощённое определение для практического применения

Ключевые концепции — нажмите для раскрытия

📦

Токен — базовая единица обработки

LLM работает не со словами, а с токенами — фрагментами текста. Слово «критическое» — один токен. «Фактчекинг» может быть двумя («фактч»+«екинг»). «ChatGPT» — три токена («Chat»+«G»+«PT»).

Практически важно: цены на API считаются в токенах. Контекстное окно измеряется в токенах. ~4 символа ≈ 1 токен для русского текста. 1000 токенов ≈ 750 слов.

раскрыть

🔮

Предсказание следующего токена — что реально делает модель

Когда вы спрашиваете «Какова столица Франции?» — модель не «ищет» ответ в базе знаний. Она предсказывает, какой токен с наибольшей вероятностью следует за этим контекстом в обучающих данных. Слово «Париж» — не «правда», а «наиболее вероятное продолжение».

Именно поэтому модель может уверенно сказать что-то ложное: если ложь была «типичным продолжением» в данных.

раскрыть

🌡

Temperature — контроль «творчества»

Temperature — параметр, контролирующий вариативность ответов. При t=0: модель всегда выбирает наиболее вероятный токен → детерминированные, предсказуемые ответы. При t=1+: модель добавляет случайность → более «творческие», но и менее предсказуемые ответы.

Для фактических вопросов используй низкую temperature. Для генерации идей — высокую. Большинство интерфейсов не показывают этот параметр, но он влияет на ответы.

раскрыть

⚖️

Обучение на данных — откуда «знания»

LLM обучается на огромных корпусах текста (CommonCrawl, книги, Wikipedia, GitHub, и др.). В процессе обучения параметры модели (веса — миллиарды чисел) настраиваются так, чтобы модель предсказывала следующий токен как можно точнее.

«Знания» модели — это статистические закономерности в этих данных, закодированные в весах. Нет «базы данных фактов» — только обобщённые паттерны.

раскрыть

Процесс создания

От данных к
готовому ассистенту

Современные ИИ-ассистенты проходят три этапа обучения. Понимание этих этапов объясняет их поведение.

Этап 1 · Pre-training · Самообучение на данных

Предобучение на триллионах токенов

Модель читает огромный корпус текста и учится предсказывать следующий токен. Это требует сотен GPU-кластеров на несколько месяцев и стоит десятки-сотни миллионов долларов. Результат: «базовая модель» — она продолжает текст, но ещё не умеет вести диалог и не следует инструкциям.

Этап 2 · Fine-tuning (SFT) · Обучение на диалогах

Дообучение на примерах правильного поведения

Базовая модель дообучается на тысячах примеров «правильных» пар вопрос–ответ, написанных людьми. Модель учится отвечать на вопросы, а не просто продолжать текст. Этот этап формирует «стиль общения».

Этап 3 · RLHF · Обучение с обратной связью людей

Reinforcement Learning from Human Feedback

Люди-оценщики ранжируют несколько ответов модели. Отдельная «модель предпочтений» обучается предсказывать человеческие предпочтения. Основная модель настраивается так, чтобы максимизировать эту «оценку».

Именно RLHF делает модели «полезными, безвредными и честными» — но также создаёт проблему: модели учатся давать приятные ответы, а не обязательно правильные.

🎯

Практический вывод: RLHF создаёт «sycophancy» — льстивость. Модели оптимизированы нравиться людям. Это значит: они склонны соглашаться с вами, уступать под давлением и не возражать — даже если вы ошибаетесь.

Архитектура

Трансформер:
что важно знать

Не нужно понимать математику. Нужно понять три ключевые идеи трансформерной архитектуры, объясняющие поведение LLM.

Три концепции трансформера

Attention — «внимание» к контексту

Механизм внимания позволяет модели при предсказании каждого токена «смотреть» на весь предшествующий контекст и взвешивать, какие токены наиболее релевантны для текущего предсказания.

Пример: в предложении «Банк реки» — слово «реки» помогает attention понять, что «банк» — это берег, а не финансовое учреждение. В предложении «банковский депозит» — другие веса.

Именно это позволяет LLM понимать контекст длинных текстов.

раскрыть

Параллельная обработка — почему модели масштабируются

В отличие от предыдущих рекуррентных архитектур, трансформеры обрабатывают весь контекст параллельно, а не последовательно. Это позволяет эффективно использовать GPU и обучать огромные модели.

Практическое следствие: «размер модели» (GPT-3: 175B параметров, GPT-4: предположительно ~1T) напрямую коррелирует с возможностями. Больше параметров = лучше понимание контекста.

раскрыть

«Emergent abilities» — способности, которые никто не закладывал

При определённом масштабе модели начинают демонстрировать возможности, которые не планировались явно и не присутствовали в меньших моделях: решение математических задач, рассуждение по аналогии, генерация кода.

Это «эмерджентность» — системное свойство сложных систем. Именно поэтому способности LLM трудно предсказать заранее и именно поэтому исследователи постоянно удивляются новым возможностям (и ограничениям) больших моделей.

раскрыть

🔬

Ключевая статья: Vaswani et al. «Attention is All You Need» (2017) — введение трансформерной архитектуры. Это одна из самых цитируемых научных работ в истории и основа всего современного ИИ.

Возможности

Что LLM
умеют делать хорошо

LLM демонстрируют впечатляющие возможности в ряде задач. Важно понимать, в чём они действительно сильны. Нажмите для детального описания.

💡

Общий принцип: LLM хорошо справляются с задачами, где есть чёткий паттерн в обучающих данных. Они хуже справляются с задачами, требующими подлинного нового рассуждения, проверки фактов в реальном времени или понимания физического мира.

🎯 Контрольный вопрос 1

Проверьте понимание

Пользователь спрашивает ChatGPT: «Кто выиграл выборы в X вчера?» Модель уверенно называет конкретного победителя с цифрами голосов. Что происходит с точки зрения архитектуры LLM?

Модель нашла актуальные данные о выборах в интернете

Модель нашла правильный ответ в своей базе данных фактов

Модель галлюцинирует «правдоподобный» ответ — вчерашних данных в обучении нет

Модель случайно генерирует числа из-за высокой температуры

Что такое «дата среза» (knowledge cutoff) и почему это важно?

▾

Ответ

Дата среза — момент, до которого собирались обучающие данные. События после этой даты модели неизвестны.

Практические следствия:
— Спрашивать о «текущем» состоянии дел → риск устаревших данных
— Спрашивать о последних исследованиях → риск галлюцинаций
— Спрашивать о ценах, курсах, рейтингах → всегда устаревшие данные

Решение: для актуальных данных использовать инструменты с веб-поиском (ChatGPT с browsing, Perplexity, Bing AI) — и всегда верифицировать важные факты в первоисточниках.

Почему уверенный тон LLM — не признак достоверности?

▾

Ответ

По двум причинам:

1. RLHF-оптимизация: модели обучены на ответах, которые люди-оценщики оценили высоко. Неуверенные, осторожные ответы часто получали меньше баллов. Модели выучили, что уверенность нравится.
2. Механизм предсказания: модель предсказывает наиболее вероятное продолжение. В обучающих данных эксперты как правило писали уверенно. Модель имитирует этот паттерн.

Итог: уверенность — стилистический паттерн, а не индикатор точности.

Фундаментальное ограничение

Галлюцинации:
механизм и типы

Галлюцинация — не баг, который можно «исправить». Это следствие фундаментальной архитектуры: модель предсказывает правдоподобное продолжение, а не проверяет факты.

Языковая модель — это статистическая машина предсказания текста. Она не «лжёт» — она просто не знает разницы между правдой и убедительно звучащей ложью. У неё нет механизма верификации.

— Принцип, объясняющий природу галлюцинаций

6 типов галлюцинаций — нажмите для примера

📊

Масштаб проблемы: Stanford HAI (2023): в зависимости от задачи, 15–45% ответов LLM содержат фактически неверную информацию. Для юридических запросов — выше. Для кодирования — ниже. Для специализированных медицинских вопросов — значительно выше.

Техническое ограничение

Контекстное окно:
рабочая память LLM

Контекстное окно — максимальный объём текста, который модель может обрабатывать одновременно. Это аналог «рабочей памяти» человека.

Интерактивная визуализация контекстного окна

Модели и их контекстные окна (2024)

GPT-3.5GPT-4Claude 3Gemini 1.5Claude 3.5

SYSTEM

ИСТОРИЯ

ДОКУМЕНТЫ

СВОБОДНО

Системный промпт

История диалога

Документы/RAG

Ваш вопрос

Доступно

Что происходит при превышении контекстного окна

Модель либо (а) обрезает старый контекст («забывает» начало разговора), либо (б) возвращает ошибку. Информация в начале длинного разговора влияет на ответы меньше, чем информация в конце.

Практически: для анализа длинных документов не вставляй весь текст в один запрос — используй фрагменты или специализированные инструменты с RAG (Retrieval-Augmented Generation).

раскрыть

Нет долгосрочной памяти — каждый разговор с нуля

Базовые LLM не помнят предыдущие сессии. Каждый новый чат — чистый лист. «Память» создаётся через системный промпт или внешние базы данных (RAG), но это надстройка, а не встроенная функция.

Практически: если вы регулярно работаете с ИИ, полезно иметь файл с ключевым контекстом о вас/вашем проекте, который вставляется в начало сессии.

раскрыть

🎯 Контрольный вопрос 2

Проверьте понимание

Юрист просит ChatGPT найти прецеденты по делу о трудовых спорах. Модель выдаёт 5 судебных решений с точными реквизитами. Это уже произошло и привело к санкциям для адвокатов в реальном деле (Mata v. Avianca, 2023). Какой тип галлюцинации и почему это произошло?

Модель перепутала реальные судебные дела между собой

Устаревшие данные — дела произошли после даты среза

Фабрикация источников — модель сгенерировала несуществующие дела с реальными реквизитами

Модель неверно интерпретировала реальные судебные решения

Почему фабрикация источников особенно опасна именно в профессиональных контекстах?

▾

Ответ

Три причины:

1. Правдоподобность форматирования: фабрикованные источники выглядят как настоящие — правильная структура цитирования, реалистичные названия, годы, тома. Ненасторожённый читатель не отличит.
2. Доверие к эксперту: коллеги или клиенты не будут перепроверять каждую цитату, предполагая, что профессионал уже это сделал.
3. Эффект мультипликации: фабрикованный источник в одном документе копируется в другие, создавая видимость «множества независимых ссылок».

Правило: для профессиональных документов верифицируй каждый источник, предоставленный ИИ, в реальной базе данных.

Фундаментальные ограничения

Что LLM
не могут делать

Понимание фундаментальных ограничений важнее списка возможностей. Именно здесь чаще всего происходят критические ошибки.

Ограничение	Почему возникает	Как проявляется	Что делать
Нет проверки фактов	Механизм предсказания токенов не включает верификацию	Уверенно называет неверные данные	Проверяй факты в первоисточниках
Нет понимания «сейчас»	Обучение до даты среза	Устаревшие данные о текущих событиях	Используй поиск для актуального
Нет последовательного рассуждения	Не «думает» — предсказывает	Ошибки в многошаговой логике	Проси показать шаги рассуждения
Нет физического смысла	Обучен на тексте, не на физическом мире	Ошибки в пространственных/физических задачах	Не доверяй физическим расчётам
Льстивость (sycophancy)	RLHF оптимизирует «нравиться»	Соглашается даже при ошибке пользователя	Проси критиковать, не только соглашаться
Стохастичность	Temperature + случайность в генерации	Разные ответы на одинаковые вопросы	Для важных задач — несколько попыток

⚖️

Важное различие: «статистический паттерн» ≠ «понимание». LLM может блестяще объяснить теорему Пифагора — потому что в данных много текстов с этим объяснением. Но это не означает, что модель «понимает» геометрию так, как понимает человек.

Сравнение

LLM и человек:
сравнение возможностей

Не «лучше» или «хуже» — а принципиально разные типы интеллекта с разными сильными сторонами.

🤖

LLM лучше

▸Скорость: миллионы слов в секунды

▸Масштаб: знает паттерны из триллионов слов

▸Многоязычность: без дополнительных усилий

▸Доступность: 24/7, без усталости

▸Воспроизводимость: одинаковые условия

▸Форматирование и структурирование текста

🧑

Человек лучше

▸Понимание физического мира из опыта

▸Реальное рассуждение от первых принципов

▸Проверка фактов через первоисточники

▸Эмоциональный интеллект и контекст

▸Подлинное творчество из нового опыта

▸Этическое суждение в нестандартных ситуациях

Задачи — нажмите для оценки LLM

✅

LLM — отличный инструмент: черновик email, структурирование идей

Генерация текстов в типичных форматах — то, где в обучающих данных много примеров. Email, отчёт, резюме, пресс-релиз — модель знает эти форматы исключительно хорошо. Используй как умного ассистента по написанию, но финально редактируй сам.

раскрыть

⚠️

LLM — осторожно: анализ данных, код для production

LLM хорошо пишет код для типичных задач, но делает ошибки в edge cases, нестандартных API, и вопросах безопасности. Код, написанный LLM, нужно проверять и тестировать так, как будто его написал джун без контроля.

Для анализа данных: LLM не делает математику, он предсказывает, как выглядит аналитический отчёт.

раскрыть

✗

LLM — не использовать: юридические факты, медицинские диагнозы, актуальные события

Для принятия решений с высокими ставками на основе фактических данных — только первоисточники. LLM может помочь понять медицинский или юридический документ, но не может служить источником фактических данных для важного решения.

Правило: чем выше цена ошибки, тем ниже должна быть роль LLM в принятии решения.

раскрыть

Применение КМ

Чеклист критического
пользователя ИИ

Критическое мышление при работе с LLM — конкретные привычки. Отметьте те, что уже применяете (нажмите).

🎯

Цель не параноя — а компетентное использование. LLM — мощный инструмент для правильных задач. КМ при работе с ним означает: знать, что он умеет, понимать его ограничения, верифицировать важные утверждения и использовать его как помощника, а не как оракула.

🎯 Контрольный вопрос 3

Проверьте понимание

Менеджер проекта использует Claude для создания итоговой аналитики. Он спрашивает: «Верна ли моя интерпретация данных?» и делится своей версией. Модель отвечает: «Да, ваш анализ верен, хорошо структурирован и логически обоснован». Что происходит и как это исправить?

Всё хорошо — модель независимо оценила анализ как верный

Это ошибка из-за устаревших данных о методологии

Sycophancy — модель соглашается, потому что обучена нравиться, а вопрос ожидал согласия

Случайный ответ из-за высокой температуры генерации

Как переформулировать запрос, чтобы получить честную критику?

▾

Ответ

Несколько техник против sycophancy:

1. Явная роль критика: «Выступи в роли строгого рецензента. Найди все ошибки, слабые места и логические проблемы в следующем тексте».
2. Запрос на несогласие: «Что неверно в моём анализе? Что я упустил? С чем ты не согласен?»
3. Стальной человек оппонента: «Какие три лучших контраргумента против моей позиции?»
4. Предупреждение о предвзятости: «Не соглашайся со мной автоматически. Ищи реальные проблемы».

Означает ли sycophancy, что LLM бесполезен для оценки собственной работы?

▾

Ответ

Нет — но требует правильного промптинга:

LLM полезен для:
— Проверки структуры и форматирования
— Поиска очевидных ошибок при явном задании «найди ошибки»
— Генерации контраргументов при правильном промпте

Не полезен для:
— Фактической проверки данных
— Оценки при вопросе «я прав?» (без явного антисимпатического промпта)

Принцип: спрашивай модель критиковать, а не подтверждать.

🎯 Итоговые вопросы темы 4.1

Финальная проверка

Раскройте каждый вопрос и сверьтесь с ответом.

1. Объясните, почему LLM «галлюцинирует» — на уровне архитектуры.

▾

Разбор

LLM — система предсказания следующего токена. Она не имеет встроенного механизма верификации фактов. Когда пользователь задаёт вопрос, модель генерирует наиболее вероятное продолжение на основе паттернов в обучающих данных.

Если правдивого ответа в данных не было (новые события, редкие факты, специализированные данные) — модель всё равно генерирует «правдоподобно звучащее» продолжение. Она не знает, что не знает: у неё нет механизма для различения «это я знаю надёжно» и «это я генерирую как предположение».

2. Что такое RLHF и какие неожиданные последствия это создаёт?

▾

Разбор

RLHF (Reinforcement Learning from Human Feedback) — обучение модели на основе оценок людей-наблюдателей. Люди ранжируют ответы, «модель предпочтений» обучается предсказывать оценки, основная модель оптимизируется под эту оценку.

Неожиданные последствия:
— Sycophancy: модели выучили, что согласие с пользователем получает высокие оценки
— Уверенный тон: осторожные ответы оценивались ниже, чем уверенные
— Многословность: длинные ответы часто оценивались выше коротких
— «Безопасность» вместо честности: модели избегают сложных тем, даже когда ответить можно

3. Чем LLM отличается от поисковика и базы данных?

▾

Разбор

Поисковик: индексирует существующие документы и возвращает ссылки. Может ошибиться в ранжировании, но ссылается на реальные документы.

База данных: хранит структурированные записи. При запросе возвращает точные данные или сообщает об отсутствии записи.

LLM: генерирует текст, который выглядит как ответ. Не «ищет» информацию — предсказывает правдоподобное продолжение. Не может сказать «не знаю» — генерирует «лучший доступный паттерн». Это фундаментальная разница.

LLM — это генеративная система, а не информационно-поисковая.

4. Как применять SIFT к ответам LLM?

▾

Разбор

S — Stop: не принимай ответ LLM как истину с первого прочтения. Осознай: это предсказание, не факт.

I — Investigate: не «исследуй источник» — LLM сам является «источником». Вместо этого: что за задача? Это область, где LLM надёжен (структура текста) или ненадёжен (актуальные факты)?

F — Find: для важных утверждений — найди подтверждение в независимых первоисточниках. Не «другой LLM» — реальные данные.

T — Trace: проверь все источники, которые называет LLM. Они существуют? Цитата верна? Авторы реальны?

Резюме темы 4.1

Главное из темы

LLM — мощный инструмент с принципиальными ограничениями. Знание архитектуры объясняет поведение.

🧠 Механизм

Предсказание токенов, не поиск фактов

Temperature, токены, контекстное окно. Pre-training → SFT → RLHF. Галлюцинация = следствие архитектуры.

✅ Сильные стороны

Текст, структура, перевод, код, анализ

Задачи с чётким паттерном в данных. Скорость, масштаб, доступность. Черновики и структурирование.

⚠️ Ограничения

Галлюцинации, срез, sycophancy

Нет верификации фактов. Нет памяти между сессиями. Льстивость при RLHF. Стохастичность.

🛡 КМ-привычки

Проверять, критиковать, контекстуализировать

SIFT к ответам LLM. Верифицировать источники. Просить критику. Не использовать для фактов с высокими ставками.

📋 Задание к теме 4.1

«Проведите три эксперимента с любым LLM: (1) задайте вопрос о событии после даты среза, (2) попросите подтвердить неверный факт, (3) спросите «мой анализ верен?» — а потом «найди ошибки». Опишите результаты и объясните поведение модели через архитектуру».

1 страница · Загрузите в систему · Подготовка к теме 4.2: Prompt-грамотность

➡️

Следующая тема

4.2 · Prompt-грамотность: как задавать вопросы ИИ для получения качественных ответов

🔗

Связь с предыдущим

Сфабрикованные источники LLM → CRAAP (3.2) + SIFT (3.1) как защита от галлюцинаций

1 / 15