Los modelos de lenguaje grandes (LLM) entregan texto, pero muchas veces se les encarga tomar una decisión o hacer una clasificación en vez de escribir un ensayo o responder en un chat. Al modelo se le pasa una entrada y se le pide clasificar ese contenido de alguna forma, ya sea con una nota, un sí o un no, la categoría que mejor calce, etc.
Hace solo unas semanas apareció un modelo de un tipo nuevo, llamado Jev, que es extremadamente rápido, muy barato y está enfocado de lleno en ese papel de tomar decisiones. No puede escribir ni una sola frase, pero clasifica y categoriza muy, muy rápido, cuenta Hackaday.
¿Cómo funciona Jev?
Jev sigue aceptando texto como entrada, pero su salida son solo números de coma flotante. Esos números son las "respuestas" a preguntas de sí o no que define el usuario, a listas de opciones y a pedidos de puntaje.
Simon Willison publicó un resumen breve de lo que hace Jev y de por qué esta nueva categoría de modelo resulta tan interesante.
Kev, Nimble y la ola de copias
Decir que la idea prendió es quedarse muy corto. Hay gente armando sus propios modelos de decisión y experimentos a toda velocidad. Kev y Nimble son dos ejemplos.
Nimble se sumó hace poco como modelo compatible con Ollama y es lo bastante chico para correr en local sin mucha complicación.
Hackaday cierra con una invitación a sus lectores. Si este tipo de modelo local de IA era la pieza que faltaba para que una idea funcionara, el medio pide que se lo cuenten a través de su línea de datos.
