跳到正文
⁨NDDev AI⁩,首页
社区
语言: 简体中文
显示
主题
动效

MLOps:ML 模型的部署、维护与技术支持

NDDev 为数据团队和带有 AI 功能的产品将 ML 模型投入运行并提供维护与技术支持:将模型封装为服务,在 MLflow 中管理版本,每次发布前检验质量,监控数据漂移、延迟与成本,定时重新训练,并在出现故障时回滚。我们作为技术合作伙伴构建的 My Attention AI 已上线供用户使用。

适合谁?

适合模型已经就绪,但发布、监控和重新训练仍靠手动完成的数据团队,以及 AI 功能已面向用户运行、需要看管与维护的企业。

  • MLflow 模型注册表
  • 发布前质量检验
  • 漂移与成本监控
  • 回滚至上一版本

我们围绕模型完成哪些配置

我们基于 FastAPI 或 vLLM 将模型封装为服务,并在固定镜像版本的容器中运行。模型的每个版本都保存在 MLflow 注册表中,并附带指向数据、代码和训练指标的链接。发布通过 CI 流程完成:执行测试、在对照集上运行,并与当前运行版本对比。

  • 将模型封装为服务并打包入容器
  • MLflow 版本与实验注册表
  • 模型 CI:测试与对照集
  • 漂移、质量、延迟与成本监控
  • 在 Langfuse 中追踪 LLM 请求
  • 基于 Airflow 或 Prefect 的重新训练流水线
  • 发布与回滚规范
  • 数据保存与删除规则

发布后,我们监控输入数据、响应质量、延迟和成本,并通过 Langfuse 与 OpenTelemetry 追踪对语言模型的请求。一旦数据明显偏离训练数据或指标下降,就会触发告警:通过 Airflow 或 Prefect 流水线重新训练模型,或回滚至上一版本。

数据管理规则也会单独约定:由谁保存请求与响应、保存多久,以及工作结束后如何删除。我们将服务指标与用户内容分开存放,My Attention AI 的遥测机制也是如此。

将模型投入运行

我们先查看模型目前的运行状况,解决风险最高的问题。

  1. 审计

    查看模型在何处、如何训练和运行,由谁发布,以及出现故障时会发生什么。

  2. 服务与注册表

    封装模型,建立版本注册表并实现可复现的训练。

  3. 发布流水线

    配置包含测试与对照集检验的 CI 流程。

  4. 监控

    接入指标、告警与看板,并商定阈值。

  5. 重新训练、维护与技术支持

    按时间表或根据漂移信号启动重新训练,并为系统提供维护与技术支持。

该服务的相关项目

  • Platform

    My Attention AI:注意力管理与事务安排平台

    My Attention AI 是专注于注意力管理与活动组织的平台,包含四个方向:Screen、Together、Train 和 Care。该产品已向用户开放,支持俄语、英语和哈萨克语。产品归属于独立公司 My Attention AI, Inc.,NDDev 的 CEO Danil Silantyev 在该公司担任技术总监。

数据团队关于 MLOps 的问题

我们已经有模型了,应该从哪里开始?

从审计开始:我们会查看代码、数据、运行方式和指标。审计结束后,您将收到风险清单以及优先配置计划。

可以接手其他团队训练的模型吗?

可以。我们需要访问代码、数据或其说明,以及模型运行的环境。如果训练过程无法复现,我们会首先恢复训练的可复现性。

什么是数据漂移?

数据会随时间发生变化:出现新商品、不同的客户群体以及季节性波动。基于旧数据训练的模型会更频繁地出错。漂移监控能在用户看到错误之前发现这一情况。

模型将在哪里运行?

可以在您的服务器上、商定的云端,或您租用的显卡上运行。我们会在同一环境中配置服务、监控和重新训练,并将文档移交给您的团队。

MLOps 的费用是多少?

价格模块中列出了起步价。最终费用取决于模型数量、当前的运行状态以及监控要求。服务器和计算资源费用另行支付。上线后可将系统交由我们提供维护与技术支持,每月费用通常为项目费用的 10%。

$4,500 起

免费保修
40 天

所列为起步价格,仅供参考,不构成公开要约。最终价格在技术规格书中确定。

Documents, video and forecasting

告诉我们您有哪些模型正在运行

请介绍您的模型、数据以及目前的发布方式。我们将提供方案并给出报价。

我们将在 24 小时内回复

助手

正在加载助手…