Laya モデルと Jev API

Laya モデルとは

Laya は Convai Innovations のオープンソース決定モデルで、ライセンスは Apache 2.0 です。pip install laya で入れるか、Hugging Face の convaiinnovations/laya からチェックポイントを読みます。文章は生成しません。

1 回の呼び出しは状態と型付きの質問です。choice は名前を付けた選択肢から一つを選びます。score は書いた順序スケールに状態を置きます。noul は文が真である確率を返します。英語チェックポイントは 421M の ModernBERT で、予算は 512 トークンです。多言語チェックポイントは 100 以上の言語を扱います。Laya のモデルカードでは、ルーティング後の呼び出しは T4 GPU で約 33 ms です。

同じカードはベースのチェックポイントを出発点としています。Laya の typed-decisions ベンチマークでは、英語ベースが精度 0.362、微調整済みの laya-typed-decisions が 0.766 です。どちらも Laya の測定で、Jev との比較ではありません。

三つの動かし方

Laya のモデルカードは Laya を TypeSafe の Jev API と比べています。このサイトは制限がより厳しい第三の選択肢です。以下に引用する Jev の精度は、そのカードの数字です。Laya は、それらの Jev の数字は第三者が公開したもので、同じ実行では測っていないと書いています。

Laya を自分で動かすとき

モデルを自分のマシンに置く必要があるとき、自分のラベルで微調整できるとき、すでに GPU があり呼び出しごとの料金を避けたいときに Laya を動かします。確率をしきい値にする前に、自分のデータでキャリブレーション温度を合わせてください。Laya のカードは、未調整のチェックポイントは自信過剰だと書いています。

この Jev API を呼ぶとき

Choice が 2 から 8 個の選択肢に収まり、今日キーを取って POST したいときにこの API を呼びます。モデルのインストールも GPU も不要で、最初のキーはすぐ使えます。成功した呼び出しは質問が 1 つでも 6 つでも 1 クレジットです。失敗は無料です。パスは POST /api/v1/decisions。モデル id は jev-1.13 です。

ラベルの多い Choice

Laya のカードは、一つの Choice がおよそ 20 を超える選択肢を持つとき TypeSafe Jev の方が向くと書いています。Banking77 では Jev が 0.870（72 ラベル）、既定のトークン予算の Laya が 0.425（77 ラベル）と報告しています。このエンドポイントはその質問を受けられません。Choice は 8 個までです。一つの質問に数十のラベルが必要なら、TypeSafe の api.typesafe.ai を使うか、短いリストに分けてこのエンドポイントか、head budget を大きくした自前の Laya に渡してください。

Laya と Jev の FAQ