미국 기술
Thinking Machines, 노트북에서 로컬로 실행되는 개방형 모델 Inkling 2 Mini 출시

Thinking Machines Lab은 Apache 2.0 라이선스에 따라 32GB Mac 또는 단일 DGX Spark에서 로컬로 실행할 수 있는 대략 20GB 패키지에 264억 개의 매개변수가 포함된 개방형 가중치 모델인 Inkling 2 Mini를 출시했습니다.
Mira Murati가 이끄는 Thinking Machines Lab은 11월 20일 개방형 모델 Inkling 2 Mini를 출시하여 노트북에서 로컬로 실행되는 모델로 소개했습니다. 약 20GB 패키지에 총 264억 개의 매개변수가 있으며 Apache 2.0 라이선스에 따라 32GB Mac 또는 단일 DGX Spark에서 실행 가능합니다.
루프형 아키텍처: 더 적은 매개변수로 더 많은 것을 생각해보세요
Inkling 2 Mini는 루프형 변환기 아키텍처를 사용합니다. 24개 레이어 중 중간 12개는 모든 토큰에 대해 3번 실행되므로 모델이 더 적은 매개변수로 "여러 번 생각"할 수 있습니다. 토큰당 34억 개의 매개변수 또는 루프를 계산하는 54억 개의 유효 매개변수를 활성화하며 컨텍스트 길이는 100만 개의 토큰입니다.
성능 및 라이선스
Inkling 2 Mini는 SWE-bench Verified에서 79.2%를 기록하여 1,000억 개 매개변수 미만의 개방형 모델 중 에이전트 코딩을 선도했습니다. 이번 달 초 회사는 Inkling 2 Small의 무게를 오픈 소스로 공개했습니다. Mini는 로컬 또는 제한된 환경에 배포해야 하는 개발자를 대상으로 하는 가벼운 새 제품군입니다.
N環球 
💬 Comments
No comments yet. Be the first!