Thinking Machines lança modelo aberto Inkling 2 Mini que roda localmente em um laptop

O Thinking Machines Lab lançou o Inkling 2 Mini, um modelo de peso aberto com 26,4 bilhões de parâmetros em um pacote de aproximadamente 20 GB que pode ser executado localmente em um Mac de 32 GB ou em um único DGX Spark, sob uma licença Apache 2.0.
O Thinking Machines Lab, liderado por Mira Murati, lançou o modelo de peso aberto Inkling 2 Mini em 20 de novembro, apresentando-o como um modelo que roda localmente em um laptop: 26,4 bilhões de parâmetros totais em um pacote de aproximadamente 20 GB, executável em um Mac de 32 GB ou um único DGX Spark, sob uma licença Apache 2.0.
Uma arquitetura em loop: pense mais com menos parâmetros
O Inkling 2 Mini usa uma arquitetura de transformador em loop: de suas 24 camadas, as 12 do meio são executadas três vezes para cada token, permitindo que o modelo “pense várias vezes” com menos parâmetros. Ele ativa 3,4 bilhões de parâmetros por token, ou 5,4 bilhões de parâmetros efetivos contando os loops, com comprimento de contexto de 1 milhão de tokens.
Desempenho e licenciamento
O Inkling 2 Mini obteve pontuação de 79,2% no SWE-bench Verified, liderando a codificação de agente entre os modelos abertos com menos de 100 bilhões de parâmetros. No início deste mês, a empresa abriu o código-fonte dos pesos do Inkling 2 Small; Mini é o novo membro mais leve da família, voltado para desenvolvedores que precisam implantar localmente ou em ambientes restritos.
N環球 
💬 Comments
No comments yet. Be the first!