Большие языковые модели (LLM, Large Language Models) — это нейросети, которые умеют понимать и генерировать текст. На них работают ChatGPT, Claude, GigaChat, YandexGPT и десятки других сервисов. Разберёмся без формул, как они устроены и почему иногда ошибаются.
Если коротко: LLM — это очень большая программа, которая по началу текста угадывает, какое слово должно идти следующим. Делает она это настолько хорошо, что со стороны выглядит как понимание.
Как LLM учится
Обучение проходит в несколько этапов.
- Предобучение. Модели показывают огромный корпус текстов: книги, статьи, код, форумы. Задача одна — предсказать следующий фрагмент текста. За триллионы таких попыток модель усваивает грамматику, факты, стиль и даже логику рассуждений.
- Дообучение на инструкциях. Затем модель учат отвечать на вопросы и выполнять задания: ей показывают примеры «запрос — хороший ответ».
- Обучение с обратной связью. Люди оценивают ответы модели, и она учится давать полезные, безопасные и честные ответы чаще, чем плохие.
Токены: в чём модель «считает» текст
Модель работает не со словами, а с токенами — кусочками слов. Английское слово часто равно одному токену, русское обычно разбивается на два-три. Поэтому:
- ограничения на длину запроса и ответа считаются в токенах;
- тарифы API тоже считают в токенах — русский текст выходит дороже английского того же смысла;
- модели иногда путаются в подсчёте букв: она «видит» токены, а не отдельные символы.
Контекстное окно
Контекстное окно — это объём текста, который модель держит «в голове» за один раз: ваш запрос, историю диалога, приложенные документы и собственный ответ. У современных моделей оно измеряется сотнями тысяч токенов — это целая книга. Всё, что не попало в окно, модель не видит.
Почему нейросеть галлюцинирует
Галлюцинация — уверенный, но выдуманный ответ. Она возникает потому, что модель генерирует правдоподобный текст, а не достаёт факты из базы данных. Если точного знания нет, модель всё равно продолжит текст гладко.
Как снизить риск:
- давайте модели исходные данные прямо в запросе и просите опираться только на них;
- просите указывать источники и проверяйте их;
- разрешите модели ответить «не знаю»;
- для важных фактов — цифры, даты, законы — всегда делайте ручную проверку.
Что LLM умеет хорошо, а что плохо
Хорошо: писать и редактировать тексты, переводить, суммировать документы, писать и объяснять код, генерировать идеи, структурировать хаос, отвечать на вопросы по предоставленным материалам.
Хуже: точная арифметика без инструментов, свежие события после даты обучения, узкие факты из редких источников, задачи, где нужна гарантированная точность без проверки.
Как выбрать модель
Для повседневных задач подойдёт любая крупная модель. Если важна работа с российскими реалиями и оплата в рублях — смотрите на GigaChat и YandexGPT. Для сложного кода и длинных документов обычно сильнее зарубежные флагманы. Подробное сравнение — в нашей статье о нейросетях для текста.
Итог
LLM — не всезнающий оракул, а очень мощный генератор текста. Относитесь к нему как к быстрому и эрудированному стажёру: он экономит часы работы, но его результат стоит проверять.