跳到正文
⁨NDDev AI⁩,首页
社区
语言: 简体中文
显示
主题
动效

将 LLM 落地到产品与公司流程

NDDev 将 LLM 接入企业产品与工作流程:生成描述、提炼文档简要摘要、分类诉求、提取字段,并在界面内提供助手。我们接入多家服务商的模型并配置备用路由,同时监控每次请求的质量与价格。我们为 Citilink 做了原型,由人工智能检索商品并为电商平台撰写描述。

适合谁?

面向正在为服务添加语言模型功能的产品团队,以及员工已经手动把文本复制到聊天机器人,并希望将其嵌入工作系统的公司。

  • 多家服务商与备用
  • 严格格式的回复
  • 请求价格控制
  • 在 Langfuse 中追踪

您的产品将获得什么

我们通过基于 LiteLLM 的网关接入模型:您的代码只调用一个 API,背后则是多家服务商的模型。如果主服务商返回错误或响应过慢,请求会转到备用模型。简单任务交给快速、低价的模型,复杂任务交给能力更强的模型。

  • 筛选模型能为用户节省时间的功能
  • 带备用服务商的 LiteLLM 网关
  • 分版本的提示词与校验样例集
  • 严格的回复格式与按模式校验
  • 发送前对个人数据脱敏
  • 限额、缓存与费用统计
  • 在 Langfuse 和 OpenTelemetry 中追踪请求

模型按严格格式回复:按模式输出 JSON,代码在写入数据库前校验该模式。提示词按版本保存,每个版本都在发布前用样例集试跑。请求、回复、延迟和费用都显示在 Langfuse 中,因此任何奇怪的输出都可以找到并拆解。

接入外部服务商之前,我们会先确定可以向其发送哪些数据、哪些内容需要脱敏,以及对方会保存多久。当数据必须留在您这边时,我们会把同一套集成切换到部署在您的服务器上的模型。

基于 LLM 的功能落地

每项功能在用户看到之前,都会先用您的样例完成评测。

  1. 选择场景

    我们筛选模型能为用户节省时间的功能,并为每项功能写明何为好的结果。

  2. 原型与评测

    我们搭建原型,并在您的样例上按质量、速度和价格比较各模型。

  3. 集成到产品

    我们把调用写入代码,并配置网关、备用路由、限额和追踪。

  4. 发布与观察

    我们向用户开放该功能,关注质量、支出和投诉,并根据数据改进提示词。

此项服务的项目

  • Citilink

    2024 年为大型电子产品零售商制作的原型:人工智能按买家请求检索商品,帮助新员工上手,并为各电商平台撰写商品描述。

关于 LLM 落地的问题

该选哪家服务商?

我们根据您的任务实测来选择:质量、速度、单次请求价格、处理地区和数据存储条件。网关把产品代码与服务商隔开,因此更换模型只需在一处调整配置。

如何把模型费用控制住?

我们按用户和功能设置限额,缓存重复请求,并把简单任务交给小型模型。每次请求的费用都显示在 Langfuse 中,因此可以按每项功能查看支出。

如果服务商更改模型或价格怎么办?

校验样例集会在切换之前显示新模型在您的任务上表现如何。在我们仍在选择替代方案时,备用路由维持该功能运行。

可以把客户数据传给模型吗?

我们在开工前做出决定。外部服务商会收到数据,因此我们会明确允许的数据类别、脱敏方式、地区和保存期限。若无法对外传输,就使用位于您的服务器上的模型。

贵公司已经在哪里落地过 LLM?

在为 Citilink 制作的原型(2024)中,人工智能检索商品,帮助新员工上手,并为电商平台撰写描述。另一个例子是 Declaro:我们正作为技术合作伙伴打造的这一产品,会从带有来源链接的文档整理出海关申报草稿。

LLM 落地费用是多少?

起步价格见本页的费用板块。最终价格由功能数量、集成复杂度和校验集规模构成。向模型服务商支付的费用按实际发生计算,金额和期限在技术任务书中确定。

$2,300 起

免费保修
20 天

所列为起步价格,仅供参考,不构成公开要约。最终价格在技术规格书中确定。

Language models and company knowledge

请告诉我们,您想基于 LLM 构建哪项功能

请描述产品、用户,以及要交给模型的任务。我们会提出场景和供比较的模型,并报出价格。

我们将在 24 小时内回复

助手

正在加载助手…