模型工程
从训练到推理，模型工程我们自己做
微调训练、强化学习、推理优化、Token 中转：同一支团队，私有化交付；也可以通过统一接口按 token 直接使用。
模型微调训练
用你的业务数据，训出懂行业的模型
通用大模型不懂行业术语、不懂内部单据。我们把客户的资料清洗、标注成训练数据，在私有环境里微调开源基座模型，用客户真实资料建的评测集决定它能不能上线。
能做什么
- 数据清洗、去重、脱敏与标注
- SFT、LoRA / QLoRA 与全参数微调
- 用客户真实资料建评测集，对比基座模型
- 评估通过才晋级，一键回滚到上一版
- PyTorchDeepSpeedLLaMA-FactoryLoRA
- 有专有数据、通用模型答不准的企业
强化学习
用业务反馈，把模型调到“会做事”
微调让模型“会说”，强化学习让模型“会做”。我们把业务规则写成可验证的奖励，让模型在真实任务上反复尝试、被打分、再更新，专门提升多步推理和工具调用的成功率。
能做什么
- DPO 偏好对齐，GRPO / PPO 在线强化学习
- 奖励模型与规则校验器（可验证奖励）
- 面向智能体的工具调用与多步任务训练
- 线上反馈回流：人工确认后才进入训练集
- TRLverlRayvLLM
- 要让智能体稳定完成多步业务任务的团队
推理优化
同样的显卡，跑出更多并发、更低延迟
私有化部署最大的成本是算力。我们从量化、批处理、缓存到多卡并行逐层调优，按场景选型国产卡或消费级显卡，并用压测把并发和首字延迟写进验收。
能做什么
- INT4 / FP8 量化，精度损失用评测集把关
- 连续批处理、前缀缓存与投机解码
- 张量并行与多卡部署，负载均衡
- 国产卡、消费级显卡选型与离线部署
- vLLMSGLangFP8Tensor Parallel
- 已经私有化部署大模型、并发和成本吃紧的企业
Token 中转
一个接口接入国产大模型与私有化模型，按 token 计量
兼容 OpenAI 协议的统一模型接口：业务系统只改一个地址，就能在多家国产大模型和私有化开源模型之间路由、切换与计费。所有调用经同一出口，用量、成本和内容全程可审计。
能做什么
- OpenAI 兼容接口，按场景路由与负载均衡
- 首字前失败自动切换备用模型
- 按 token 计量计费，部门额度与预算熔断
- 敏感信息过滤与全量审计
- OpenAI APIDeepSeekQwenGLM
- 多部门、多系统都在调用大模型的企业与开发团队
训练产线：评估通过才上线
从数据到上线一条线：评估门控晋级，强制绕过要留痕，任何一版都能一键回滚。
- 1数据接入、清洗、脱敏
- 2标注业务专家参与
- 3训练微调与强化学习
- 4评估门控不过线不晋级
- 5上线经网关灰度
- 6回滚一键回到上一版
交付项目实测
以下数字来自交付项目，均注明出处与口径：交付环境实测，或模型网关的接入配置数；不是生产环境的长期统计。
9 / 20
国产模型厂商 / 型号接入同一个模型网关，按客户要求禁用境外模型
−71%
并发 30 时平台 p95 尾延迟的降幅
56 tok/s
量化模型 16 路并发时，每一路的生成速度
126 ms原 2.7 s
知识库检索（含重排）的中位耗时
1
场景对齐工作坊
- 业务负责人与 IT 负责人到场
- 梳理 1–3 个候选场景与数据现状
- 产出：场景清单、成功指标草案
2
PoC 提案
- 数据与系统边界、评测集设计
- 里程碑、双方投入、验收门槛
- 产出：可签字的 PoC 提案
3
PoC 执行
- 用客户真实资料，私有化或演示环境
- 每周同步，指标透明
- 产出：评测报告与上线方案