将 LLM 落地到产品与公司流程
您的产品将获得什么
我们通过基于 LiteLLM 的网关接入模型:您的代码只调用一个 API,背后则是多家服务商的模型。如果主服务商返回错误或响应过慢,请求会转到备用模型。简单任务交给快速、低价的模型,复杂任务交给能力更强的模型。
- 筛选模型能为用户节省时间的功能
- 带备用服务商的 LiteLLM 网关
- 分版本的提示词与校验样例集
- 严格的回复格式与按模式校验
- 发送前对个人数据脱敏
- 限额、缓存与费用统计
- 在 Langfuse 和 OpenTelemetry 中追踪请求
模型按严格格式回复:按模式输出 JSON,代码在写入数据库前校验该模式。提示词按版本保存,每个版本都在发布前用样例集试跑。请求、回复、延迟和费用都显示在 Langfuse 中,因此任何奇怪的输出都可以找到并拆解。
接入外部服务商之前,我们会先确定可以向其发送哪些数据、哪些内容需要脱敏,以及对方会保存多久。当数据必须留在您这边时,我们会把同一套集成切换到部署在您的服务器上的模型。
基于 LLM 的功能落地
每项功能在用户看到之前,都会先用您的样例完成评测。
选择场景
我们筛选模型能为用户节省时间的功能,并为每项功能写明何为好的结果。
原型与评测
我们搭建原型,并在您的样例上按质量、速度和价格比较各模型。
集成到产品
我们把调用写入代码,并配置网关、备用路由、限额和追踪。
发布与观察
我们向用户开放该功能,关注质量、支出和投诉,并根据数据改进提示词。
此项服务的项目
Citilink
2024 年为大型电子产品零售商制作的原型:人工智能按买家请求检索商品,帮助新员工上手,并为各电商平台撰写商品描述。
关于 LLM 落地的问题
该选哪家服务商?
我们根据您的任务实测来选择:质量、速度、单次请求价格、处理地区和数据存储条件。网关把产品代码与服务商隔开,因此更换模型只需在一处调整配置。
如何把模型费用控制住?
我们按用户和功能设置限额,缓存重复请求,并把简单任务交给小型模型。每次请求的费用都显示在 Langfuse 中,因此可以按每项功能查看支出。
如果服务商更改模型或价格怎么办?
校验样例集会在切换之前显示新模型在您的任务上表现如何。在我们仍在选择替代方案时,备用路由维持该功能运行。
可以把客户数据传给模型吗?
我们在开工前做出决定。外部服务商会收到数据,因此我们会明确允许的数据类别、脱敏方式、地区和保存期限。若无法对外传输,就使用位于您的服务器上的模型。
贵公司已经在哪里落地过 LLM?
在为 Citilink 制作的原型(2024)中,人工智能检索商品,帮助新员工上手,并为电商平台撰写描述。另一个例子是 Declaro:我们正作为技术合作伙伴打造的这一产品,会从带有来源链接的文档整理出海关申报草稿。
LLM 落地费用是多少?
起步价格见本页的费用板块。最终价格由功能数量、集成复杂度和校验集规模构成。向模型服务商支付的费用按实际发生计算,金额和期限在技术任务书中确定。
$2,300 起
- 免费保修
- 20 天
所列为起步价格,仅供参考,不构成公开要约。最终价格在技术规格书中确定。
Language models and company knowledge
相关内容
请告诉我们,您想基于 LLM 构建哪项功能
请描述产品、用户,以及要交给模型的任务。我们会提出场景和供比较的模型,并报出价格。
我们将在 24 小时内回复