Laya 모델과 Jev API

Laya 모델이란

Laya는 Convai Innovations의 오픈소스 결정 모델이며 라이선스는 Apache 2.0입니다. pip install laya로 설치하거나 Hugging Face의 convaiinnovations/laya에서 체크포인트를 불러옵니다. 글을 쓰지 않습니다.

호출 한 번은 상태와 타입이 있는 질문입니다. choice는 이름을 붙인 선택지 중 하나를 고릅니다. score는 적은 순서 척도 위에 상태를 놓습니다. noul은 문장이 참일 확률을 반환합니다. 영어 체크포인트는 421M ModernBERT이고 예산은 512 토큰입니다. 다국어 체크포인트는 100개 이상의 언어를 다룹니다. Laya 모델 카드는 라우팅된 호출이 T4 GPU에서 약 33 ms라고 적습니다.

같은 카드는 기본 체크포인트를 출발점으로 봅니다. Laya의 typed-decisions 벤치마크에서 영어 기본 체크포인트 정확도는 0.362, 미세 조정된 laya-typed-decisions는 0.766입니다. 둘 다 Laya가 측정한 값이며 Jev와의 비교가 아닙니다.

결정을 실행하는 세 가지 방법

Laya 모델 카드는 Laya를 TypeSafe의 Jev API와 비교합니다. 이 사이트는 제한이 더 좁은 세 번째 선택입니다. 아래에 인용한 Jev 정확도는 그 카드의 숫자입니다. Laya는 그 Jev 숫자가 제3자가 공개한 것이며 같은 실행에서 측정하지 않았다고 밝힙니다.

Laya를 직접 실행할 때

모델이 자신의 머신에 있어야 하거나, 자신의 라벨로 미세 조정할 수 있거나, GPU가 이미 있고 호출당 비용을 내지 않을 때 Laya를 실행합니다. 확률을 임계값으로 쓰기 전에 자신의 데이터로 보정 온도를 맞추세요. Laya 카드는 보정 전 체크포인트가 과신한다고 적습니다.

이 Jev API를 호출할 때

Choice가 선택지 2~8개에 들어가고, 오늘 키를 받아 POST하고 싶을 때 이 API를 호출합니다. 모델을 설치하거나 GPU를 둘 필요가 없고, 첫 키는 바로 사용할 수 있습니다. 성공한 호출은 질문이 하나든 여섯이든 크레딧 1입니다. 실패는 무료입니다. 경로는 POST /api/v1/decisions입니다. 모델 id는 jev-1.13입니다.

라벨이 많은 Choice

Laya 카드는 하나의 Choice가 선택지 약 20개를 넘으면 TypeSafe Jev가 더 맞다고 적습니다. Banking77에서 Jev는 0.870(라벨 72개), 기본 토큰 예산의 Laya는 0.425(라벨 77개)로 보고합니다. 이 엔드포인트는 그 질문을 받지 못합니다. Choice는 8개에서 멈춥니다. 질문 하나에 수십 개 라벨이 필요하면 TypeSafe의 api.typesafe.ai를 쓰거나, 짧은 목록으로 나눠 이 엔드포인트 또는 head budget을 키운 자체 Laya에 넘기세요.

Laya와 Jev FAQ