Интеграции и инфраструктура

Что входит в «интеграции и инфраструктура»

Это самый «инженерный» сервис — то, что не видит конечный пользователь, но без чего любой ИИ-продукт развалится при первой реальной нагрузке. Включает:

• Подключение к моделям — OpenAI, Anthropic, локальные модели через vLLM/Ollama; правильная работа с rate limits, ретраи, fallback
• RAG-системы — векторизация вашей базы знаний, retrieval по семантике, ответы со ссылками на источники
• Интеграции с бизнес-системами — CRM (Bitrix24, AmoCRM, Salesforce, HubSpot), ERP (1С, MS Dynamics), мессенджеры, почта, calendar
• Оркестрация — multi-agent системы на LangGraph/CrewAI, очереди задач (Celery/Bull), state management
• DevOps — VPS, Docker, мониторинг, бэкапы, CI/CD
• Observability — структурированные логи, метрики latency/error rate, traces

RAG-системы — на чём строим

Стандартный пайплайн:

1. Ingestion — забираем документы из источника (S3, Google Drive, Notion API, ваш CMS), парсим (с учётом картинок, таблиц), нарезаем на смысловые куски (chunking 500-1500 токенов с overlap)
2. Embeddings — векторизуем через OpenAI text-embedding-3-large или локально через BGE-M3 (русский+английский)
3. Storage — pgvector (для до 1M документов) или Qdrant (для больше или для production-load)
4. Retrieval — гибридный поиск: семантический + ключевые слова (BM25), reranking через cross-encoder
5. Generation — LLM получает top-N релевантных чанков + промпт, генерирует ответ с цитатами
6. Evaluation — метрики precision/recall на тестовом наборе, регулярный пересчёт

Это не магия — это инженерный конвейер с десятками параметров, которые настраиваются под конкретную задачу. Качество retrieval — главный фактор того, насколько хорошо работает ИИ-агент.

Multi-agent: когда нужно

90% бизнес-задач закрывается одним хорошим агентом с набором tools. Multi-agent нужен когда:

• Задача требует параллелизма — например, агент-планировщик распределяет подзадачи на нескольких специализированных исполнителей
• Нужна специализация ролей — research agent + critic agent + writer agent работают над одним документом
• Есть сложный workflow с состояниями — где-то надо человеку утвердить, где-то retry, где-то fallback

Для этого используем:

• LangGraph — graph-based state machine, лучший выбор для сложных пайплайнов с ветвлениями и циклами
• CrewAI — проще, для ролевых сценариев («команда из трёх агентов делает X»)
• AutoGen — Microsoft, мощнее, но сложнее в проде

Production-readiness чек-лист

То, что мы закладываем по умолчанию:

• Retry с backoff на все internal API вызовы
• Fallback модели — если GPT-4 недоступен, переключаемся на Claude, потом на локальную
• Idempotency keys на критичные операции (создание заказа, отправка письма) чтобы повторы не дублили
• Rate limiting на стороне нашего сервиса (защита от atak и от случайного перерасхода)
• Structured logging — JSON-логи с trace ID для пошагового разбора любой проблемы
• Health-checks на все компоненты + алерты в Telegram при сбоях
• Бэкапы ежедневные, retention 30 дней, периодическая проверка восстановления

Мониторинг

Базовый набор метрик:

• API latency — p50, p95, p99 для каждого endpoint
• LLM cost — токены и стоимость по моделям и сценариям
• Error rate — общий и по типам ошибок
• Retrieval quality — semantic similarity между запросом и retrieved документами
• User feedback — thumbs up/down на ответы агента

Всё это в Grafana с алертами в Telegram при отклонениях.

С чего начать

Запишитесь на бесплатный 2-дневный аудит. Посмотрим на ваши планы по ИИ, ваш текущий стек, оценим что строить инфраструктуру с нуля или интегрировать в существующую.