Thinking Machines lanza el modelo abierto Inkling 2 Mini que se ejecuta localmente en una computadora portátil

Thinking Machines Lab ha lanzado Inkling 2 Mini, un modelo de peso abierto con 26,4 mil millones de parámetros en un paquete de aproximadamente 20 GB que puede ejecutarse localmente en una Mac de 32 GB o un solo DGX Spark, bajo una licencia Apache 2.0.
Thinking Machines Lab, dirigido por Mira Murati, lanzó el modelo de peso abierto Inkling 2 Mini el 20 de noviembre, presentándolo como un modelo que se ejecuta localmente en una computadora portátil: 26,4 mil millones de parámetros totales en un paquete de aproximadamente 20 GB, ejecutable en una Mac de 32 GB o un solo DGX Spark, bajo una licencia Apache 2.0.
Una arquitectura en bucle: piense más con menos parámetros
Inkling 2 Mini utiliza una arquitectura de transformador en bucle: de sus 24 capas, las 12 del medio se ejecutan tres veces por cada token, lo que permite que el modelo "piense varias veces" con menos parámetros. Activa 3,4 mil millones de parámetros por token, o 5,4 mil millones de parámetros efectivos contando los bucles, con una longitud de contexto de 1 millón de tokens.
Rendimiento y licencias
Inkling 2 Mini obtuvo una puntuación del 79,2 % en SWE-bench Verified, codificación agente líder entre los modelos abiertos con 100 mil millones de parámetros. A principios de este mes, la compañía hizo públicos los pesos de Inkling 2 Small; Mini es el nuevo miembro más liviano de la familia, dirigido a desarrolladores que necesitan implementar localmente o en entornos restringidos.
N環球 
💬 Comments
No comments yet. Be the first!