Функции активации и варианты нормализации
7 определения, включая Пакетная нормализация, GELU (Gaussian Error Linear Unit), групповая нормализация.
Глоссарий
Термины инференса — простыми словами.
Дополнительные сведения об архитектуре и обучении
12 определения, включая Управление активациями, размерность головы внимания, скрытый размер / размерность модели.
Дополнительные основные бенчмарки и понятия оценки
6 определения, включая BEIR, граница цены и качества, кривая деградации длинного контекста.
Дополнительные бенчмарки и области оценки
14 определения, включая Полиглотный бенчмарк Aider, рейтинг Codeforces (LLM), FinanceBench.
Дополнительные методы работы с длинным контекстом и поиска
8 определения, включая Infini-attention, Landmark attention, LongRoPE.
Дополнительные понятия о моделях и методы работы с промптами
8 определения, включая Цепочка верификации, обучение в контексте, мета-промптинг.
Дополнительные сведения о квантизации и сжатии
11 определения, включая bitsandbytes, блочная квантизация, двойная квантизация.
Дополнительные термины безопасности, оценки и поведения моделей
10 определения, включая Условие об ограничении дистилляции, выпуск модели с ограниченным доступом, происхождение модели.
Дополнительные методы сэмплирования, декодирования и рассуждений
9 определения, включая Доля принятия (спекулятивное декодирование), разнообразный beam search, дерево черновиков / спекулятивное декодирование на основе дерева.
Дополнительные термины надёжности и наблюдаемости обслуживания
8 определения, включая Автоматический выключатель (маршрутизация инференса), проверка работоспособности (эндпоинт модели), джиттер (задержка).
Дополнительные термины для полноты охвата
10 определения, включая Каскадная маршрутизация, композиционное обобщение, маршрутизация на основе уверенности.
Дополнительные термины токенизаторов и языкового охвата
5 определения, включая Длина контекста в символах и токенах, фертильность (токенизатор), правила слияния (BPE).
Агенты и harness
102 определения, включая фреймворк агента, harness агента, идентичность и разрешения агента.
Агенты и использование инструментов
8 определения, включая Агентный цикл, использование компьютера / GUI-агент, вызов функций / вызов инструментов.
Механизмы внимания и архитектура Transformer
22 определения, включая Поглотитель внимания, причинная маска внимания, перекрёстное внимание.
Классические архитектуры (для сравнения)
5 определения, включая Свёрточная нейронная сеть (CNN), вентильный рекуррентный блок (GRU), долговременная краткосрочная память (LSTM).
Классические оптимизаторы и инфраструктура обучения: подробнее
8 определения, включая Оптимизатор Adam, накопление градиента, отсечение градиента.
Стоимость и FinOps
141 определения, включая Инструмент оценки стоимости AI API, сравнение цен AI API, обоснование бюджета на AI.
Инженерия данных для обучения моделей
10 определения, включая Common Crawl, обнаружение загрязнения данных, смесь данных / веса смеси.
Развёртывание и безопасность
110 определения, включая A/B-тестирование AI-моделей, управление агентным AI, оркестрация AI-агентов.
Распределённое обучение и аппаратные системы
11 определения, включая Топология соединений ускорителей, All-gather, All-reduce.
Экосистема и продукты
65 определения, включая AGI (искусственный общий интеллект), конструктор AI-приложений, AI-инженер.
Эмбеддинги и представления
14 определения, включая Поиск приближённых ближайших соседей (ANN), BM25, разбиение на чанки.
Evals и качество
56 определения, включая состязательное тестирование (LLM), AgentBench, релевантность ответа.
Бенчмарки оценки
25 определения, включая AlpacaEval, ARC (задача AI2 на рассуждения), Arena-Hard.
Термины тонкой оптимизации обслуживания и инференса
13 определения, включая Размер пакета (инференс), канареечное развёртывание (модель), непрерывная интеграция для оценки модели.
Методы fine-tuning и выравнивания
7 определения, включая Слои адаптеров, DPO (Direct Preference Optimization), GRPO (Group Relative Policy Optimization).
Управление и соответствие требованиям
131 определения, включая Политика допустимого использования AI, система подотчётности AI, штрафы по AI Act.
Оборудование
47 определения, включая A100, B200, bare-metal GPU.
Инференс и обслуживание
124 определения, включая доля принятия, контроль допуска, арифметическая интенсивность.
Понятия API инференса и развёртывания
9 определения, включая Резервная маршрутизация, ключ идемпотентности, сброс нагрузки.
Теория информации, статистика и базовая математика
18 определения, включая Обратное распространение ошибки, компромисс смещения и дисперсии, бутстреп-ресемплинг.
Семейства архитектур моделей и понятия обучения
21 определения, включая Оптимизатор AdamW, авторегрессионная модель, размер пакета (обучение).
Метрики оценки моделей и статистические понятия
7 определения, включая Точность, BERTScore, оценка BLEU.
Методы работы с несколькими моделями и слияния
4 определения, включая DARE (Drop And REscale), Frankenmerge / сквозное слияние, смесь агентов.
Мультимодальная и визуально-языковая терминология
14 определения, включая Автоматическое распознавание речи (ASR), авторегрессионная генерация изображений, CLIP (Contrastive Language-Image Pretraining).
Позиционное кодирование и длина контекста
9 определения, включая Абсолютное позиционное кодирование, ALiBi (Attention with Linear Biases), экстраполяция длины контекста.
Конфиденциальность и управление
35 определения, включая Спецификация состава AI (AIBOM), управление рисками AI, политика использования AI.
Закупки и поставщики
71 определения, включая Процесс утверждения бюджета на AI, переговоры по AI-контракту, партнёр по интеграции AI.
Квантизация
19 определения, включая AWQ (Activation-aware Weight Quantization), BF16 (bfloat16), набор данных для калибровки.
Маршрутизация и стоимость
73 определения, включая A/B-тестирование (модели), AI-шлюз, смешанная стоимость токена.
Терминология безопасности и выравнивания
14 определения, включая Abliterated, налог на выравнивание, бэкдор-атака (модель).
Сэмплирование, декодирование и параметры генерации
18 определения, включая Контрастивный поиск, штраф за частоту, жадное декодирование.
Обслуживание, пакетирование и системы
10 определения, включая Автомасштабирование, EAGLE, параллелизм экспертов (обслуживание MoE).
Спекулятивное декодирование и сжатие модели (дистилляция, прунинг)
6 определения, включая Пропуск слоёв / ранний выход, прунинг модели, структурированный прунинг.
Стратегия и внедрение
71 определения, включая дорожная карта внедрения агентного AI, внедрение агентного AI в компании, барьеры внедрения AI в компаниях.
Токенизация
9 определения, включая BPE на уровне байтов, детокенизация, токен вне словаря (OOV).
Обучение и настройка
97 определения, включая активные параметры, адаптеры (fine-tuning), агентный RL.
без категории
1 определения, включая Формат: термин.
Сценарии применения
74 определения, включая инструменты доступности AI для компаний, AI-агент для закупок, AI-чат-бот для поддержки клиентов.