基于自有数据训练神经网络
什么情况下值得用您的数据训练模型
我们首先核实是否需要训练。如果要解决的问题是根据文档回答问题,通常检索知识库就足够了。当模型需要严格的格式、特定专业术语或企业风格,而提示词效果不稳定时,微调更具优势。对于分类、字段提取和图像类任务,自有小型模型通常比大语言模型运行更快、成本更低。
- 数据审查与标注计划
- 样本标注与清洗
- 用于对比的基线模型
- LoRA 或 QLoRA 微调,以及训练自有模型
- MLflow 实验日志
- 留出集上的指标报告
- 模型权重、训练代码与运行说明
大部分工作都投入在数据上。我们清洗并标注样本,将其划分为训练集、验证集和留出集,并计算简单基线模型的结果。语言模型在商定的硬件设备上采用 LoRA 和 QLoRA 方法微调,其余模型则基于 PyTorch、Transformers 或 YOLO 训练。每次运行的参数和指标都会记录到 MLflow 中。
如果事先不确定能否达到所需质量,我们会从研究阶段开始:由简入繁尝试各种方法,并立即展示中间结果。最终成果要么是可用的模型,要么是有据可依的结论,明确基于现有数据无法实现目标。
模型训练阶段
任务与指标
明确模型要完成的任务,并约定用什么指标来衡量模型是否达标。
数据
检查样本的数量和质量,必要时标注并补充样本。
基线结果
训练一个简单模型或测试提示词,以此作为对比基准。
实验
筛选模型架构与参数,并将每次运行记录到 MLflow 中。
验证与交付
在留出集上评测模型,部署到您的环境中,并移交模型权重和代码。
关于基于自有数据训练模型的问题
需要多少数据?
完成数据审查后即可确定。我们会查看您有多少样本、样本的一致性如何以及是否已标注,并直接告知现有数据是否足够,还是需要先做标注。
可以在我们的服务器上训练模型吗?
可以。我们会在您的硬件设备或商定的云环境中启动训练,数据和训练得到的权重都保留在原处。
你们保证模型的准确度吗?
我们对商定的流程、实验、报告和文档承担责任。目标指标会在开始前确定,并在模型训练时未见过的留出集上测量。如果基于现有数据无法实现目标,您会在研究阶段获知这一结论。
训练好的模型归谁所有?
模型权重和训练代码的权益按双方约定移交,具体条款在合同中明确规定。
训练费用是多少?
费用板块中的起步价对应我们的工作部分。最终费用取决于数据量与标注量、模型规模以及实验次数。算力资源和外部标注按实际发生费用另行结算。
$8,900 起
- 免费保修
- 80 天
所列为起步价格,仅供参考,不构成公开要约。最终价格在技术规格书中确定。
Language models and company knowledge
相关内容
请描述您要解决的问题和现有数据
请告诉我们模型需要完成什么任务,以及目前已积累了多少样本。我们将评估数据是否充足,并提供计划。
我们将在 24 小时内回复