最强模型通常适合困难任务,但大量业务并不需要每次都调用最高能力。分类、抽取、格式转换和简单判断,往往可以由更小的模型完成。
当单次推理足够便宜,团队可以在后台持续处理日志、文档和事件,而不是等待用户主动发起请求。
本地模型可以降低网络依赖和部分数据暴露,但也要面对设备差异、更新和功耗管理。
未来常见架构可能是模型路由:简单任务交给小模型,复杂任务升级到更强模型,并通过评测持续调整分工。