Modelo Laya vs API Jev

O que é o modelo Laya

Laya é um modelo de decisão de código aberto da Convai Innovations, sob a licença Apache 2.0. Instale com pip install laya, ou carregue os checkpoints de convaiinnovations/laya no Hugging Face. Ele não escreve texto.

Uma chamada leva um estado e perguntas tipadas. choice escolhe uma opção que você nomeou. score coloca o estado numa escala ordenada que você escreveu. noul devolve a probabilidade de uma afirmação ser verdadeira. O checkpoint em inglês é um ModernBERT de 421M com orçamento de 512 tokens. Um checkpoint multilíngue cobre mais de 100 idiomas. O cartão do Laya diz que uma chamada roteada leva cerca de 33 ms numa GPU T4.

O mesmo cartão trata os checkpoints base como ponto de partida. No benchmark typed-decisions do Laya, o checkpoint base em inglês marca 0,362 de exatidão e o laya-typed-decisions ajustado marca 0,766. O Laya mediu os dois. Esse par não é uma comparação com o Jev.

Três formas de executar a decisão

O cartão do Laya compara o Laya com a API Jev da TypeSafe. Este site é uma terceira opção, com limites mais apertados. Qualquer número de exatidão do Jev citado abaixo vem desse cartão. O Laya diz que esses números do Jev foram publicados por terceiros e não foram medidos na mesma execução.

Quando executar o Laya você mesmo

Execute o Laya quando o modelo tiver de ficar nas suas máquinas, quando puder ajustá-lo com as suas decisões rotuladas, ou quando já tiver uma GPU e não quiser uma taxa por chamada. Ajuste as temperaturas de calibração nos seus dados antes de tratar uma probabilidade como limite. O cartão do Laya diz que os checkpoints crus são confiantes demais até você fazer isso.

Quando chamar esta API Jev

Chame esta API quando um Choice couber em 2 a 8 opções e você quiser uma chave e um POST hoje. Você não instala um modelo nem mantém uma GPU; a primeira chave funciona imediatamente. Uma chamada bem-sucedida custa 1 crédito, com uma pergunta ou seis. Falhas são grátis. O caminho é POST /api/v1/decisions. O id do modelo é jev-1.13.

Choice com muitos rótulos

O cartão do Laya diz que o Jev da TypeSafe cabe melhor quando um Choice tem mais de cerca de 20 opções. No Banking77 eles relatam 0,870 para o Jev, medido em 72 rótulos, e 0,425 para o Laya no orçamento de tokens padrão, medido em 77 rótulos. Este endpoint não aceita essa pergunta. O Choice para em 8 opções. Para dezenas de rótulos numa pergunta, use a API da TypeSafe em api.typesafe.ai, ou divida os rótulos numa lista curta para este endpoint ou para uma chamada Laya auto-hospedada com um head budget maior.

FAQ Laya e Jev