来自 typesafe.ai 的 Jev:面向疑难案例的 System One 模型
Jev 由 TypeSafe (typesafe.ai) 开发。Matcha 只在引擎无法裁定的剩余案例上调用它。
Jev 是 TypeSafe 的 System One 模型。它不生成文本,而是回答一个类型化的问题:哪个候选(如果有的话)与这个地址是同一个地点,并返回一个选择、一个校准过的概率和一个置信度。System One 模型是为这种形态的决策而造,不是为对话而造。
这正是成本敏感的匹配器所需要的形态。校准意味着当 Jev 说 0.9 时,它大约有 90% 的情况是对的,引擎因此可以把它的答案与错误匹配的代价放在一起权衡;而当 Jev 没有把握时,它会说明没有一个候选合适,而不是猜测。
Matcha 只在剩余案例上使用 Jev,即引擎自己无法裁定的案例,因此一个 100,000 条地址的作业只会发起几千次 Jev 调用,而不是十万次。把您的 TypeSafe API 密钥放进环境变量,在 PROC MATCHA 步骤中加入 adjudicate provider=jev;,并在您决定这些案例可以离开机器之前,让 allow_remote 保持关闭。
启用 Jev
export TYPESAFE_API_KEY=... # never in a file
adjudicate provider=jev; # inside the PROC MATCHA step
在损坏地址基准上测得,Jev 在引擎自身 98.1% 的精确率下把正确匹配从 83.3% 提升到 87.8%,逐阶段消融实验中的错误答案为 0.8%。在公众输入的真实查询上,它解决疑难案例的频率与本地模型相同,而当没有正确的候选时,它会如实说明,而不是随便选一个。
阅读 typesafe.ai 的文章: Introducing System One models and Jev