Перейти к содержимому
⁨NDDev AI⁩, главная страница
Сообщество
Язык: Русский
Отображение
Тема
Анимация

Внедрение LLM в продукт и процессы компании

NDDev внедряет LLM в продукты и рабочие процессы компаний: генерацию описаний, краткие выжимки документов, классификацию обращений, извлечение полей и ассистентов внутри интерфейса. Подключаем модели нескольких провайдеров с резервным маршрутом и следим за качеством и ценой каждого запроса. Для Ситилинка мы сделали прототип, где ИИ искал товары и готовил описания для маркетплейса.

Кому подходит?

Продуктовым командам, которые добавляют в сервис функции на языковых моделях, и компаниям, где сотрудники уже копируют текст в чат-боты вручную и хотят встроить это в рабочие системы.

  • Несколько провайдеров и резерв
  • Ответы в строгом формате
  • Контроль цены запросов
  • Трассировка в Langfuse

Что получает ваш продукт

Модель подключаем через шлюз на LiteLLM: ваш код обращается к одному API, а за ним стоят модели нескольких провайдеров. Если основной провайдер отвечает с ошибкой или слишком медленно, запрос уходит на резервную модель. Простые задачи отдаём быстрым и дешёвым моделям, сложные более сильным.

  • отбор функций, где модель экономит время пользователя
  • шлюз LiteLLM с резервными провайдерами
  • промпты с версиями и наборы проверочных примеров
  • строгий формат ответа и проверка по схеме
  • маскирование персональных данных перед отправкой
  • лимиты, кэширование и учёт расходов
  • трассировка запросов в Langfuse и OpenTelemetry

Ответ модели приходит в строгом формате: JSON по схеме, которую код проверяет перед записью в базу. Промпты хранятся с версиями, и каждую версию прогоняем на наборе примеров до выпуска. Запросы, ответы, задержка и стоимость видны в Langfuse, поэтому любую странную выдачу можно найти и разобрать.

До подключения внешнего провайдера фиксируем, какие данные ему можно отправлять, что маскируем и как долго он их хранит. Когда данные должны остаться у вас, ту же интеграцию переводим на модель, развёрнутую на вашем сервере.

Внедрение функции на LLM

Каждая функция проходит замер на ваших примерах до того, как её увидят пользователи.

  1. Выбор сценариев

    Отбираем функции, где модель экономит время пользователя, и описываем для каждой хороший результат.

  2. Прототип и замер

    Собираем прототип и сравниваем модели на ваших примерах по качеству, скорости и цене.

  3. Интеграция в продукт

    Встраиваем вызовы в код, настраиваем шлюз, резервный маршрут, лимиты и трассировку.

  4. Выпуск и наблюдение

    Включаем функцию пользователям, следим за качеством, расходами и жалобами и улучшаем промпты по данным.

Проекты по этой услуге

  • Ситилинк

    Прототип 2024 года для крупного ритейлера электроники: AI ищет товары по запросу покупателя, помогает новым сотрудникам освоиться и готовит описания товаров для маркетплейсов.

Вопросы о внедрении LLM

Какого провайдера выбрать?

Выбираем замером на ваших задачах: качество, скорость, цена запроса, регион обработки и условия хранения данных. Шлюз отделяет код продукта от провайдера, поэтому смена модели сводится к настройке в одном месте.

Как держать расходы на модели под контролем?

Ставим лимиты по пользователям и функциям, кэшируем повторяющиеся запросы и отдаём простые задачи небольшим моделям. Стоимость каждого запроса видна в Langfuse, поэтому расходы видны по каждой функции.

Что если провайдер изменит модель или цену?

Набор проверочных примеров показывает, как новая модель справляется с вашими задачами, ещё до переключения. Пока выбираем замену, функцию держит в работе резервный маршрут.

Можно передавать модели данные клиентов?

Это решаем до начала работ. Внешний провайдер получает данные, поэтому фиксируем разрешённые классы данных, маскирование, регион и срок хранения. Если передача невозможна, используем модель на ваших серверах.

Где вы уже внедряли LLM?

В прототипе для Ситилинка (2024) ИИ искал товары, помогал новым сотрудникам освоиться и готовил описания для маркетплейса. Ещё один пример: Declaro, продукт, который мы строим как технический партнёр, собирает черновик таможенной декларации из документов со ссылками на источники.

Сколько стоит внедрение LLM?

Стартовая цена есть в блоке стоимости на странице. Итог складывается из числа функций, сложности интеграции и объёма проверочных наборов. Оплата провайдерам моделей идёт по факту, сумму и срок фиксируем в ТЗ.

от 2 300 $

Бесплатная гарантия
20 дней

Цены указаны «от» и носят информационный характер; они не являются публичной офертой. Итог фиксируем в ТЗ.

Языковые модели и знания компании

Расскажите, какую функцию вы хотите построить на LLM

Опишите продукт, пользователей и задачу для модели. Мы предложим сценарий, модели для сравнения и назовём цену.

Ответим в течение 24 часов

Ассистент

Загружаем ассистента…