Mistral NeMo
개요
- 출시일: 2024년 7월 (Mistral Large 2와 함께 발표)
- MoE 구조 여부: No (Dense Model)
- NVIDIA와 공동 개발
사양
| 항목 |
내용 |
| 파라미터 (총/활성) |
12B / 12B |
| Context Window |
128K tokens |
라이선스
- Apache 2.0
- 제한 없이 상업적 사용 가능
가격 (API)
| Provider |
Input |
Output |
| Mistral AI |
$0.15/1M tokens |
$0.15/1M tokens |
| NVIDIA NIM |
별도 문의 |
|
주요 특징
- NVIDIA와 공동 개발
- 128K 컨텍스트 윈도우 (소형 모델 중 최대급)
- Mistral 7B 드롭인 대체 가능
- 새로운 Tekken 토크나이저 사용
- 100개 이상 언어로 학습
- 코드 압축 효율 30% 향상
- 한국어/아랍어 압축 효율 2-3배 향상
- FP8 추론 지원 (성능 손실 없음)
- 양자화 인식 학습
장점
- 12B 파라미터로 단일 GPU 구동 가능
- 128K 컨텍스트로 장문 처리 우수
- Tekken 토크나이저로 다국어 효율성 향상
- 강력한 다국어 지원: 영어, 프랑스어, 독일어, 스페인어, 이탈리아어, 포르투갈어, 중국어, 일본어, 한국어, 아랍어, 힌디어
- Apache 2.0 라이선스로 완전한 오픈소스
- NVIDIA NIM으로 최적화된 배포 지원
단점/한계
- 12B 파라미터로 대형 모델 대비 복잡한 추론 제한
- Large 모델 대비 코딩/수학 성능 열위
- 비교적 최근 모델로 커뮤니티 리소스 제한적
참고 자료
- 공식 발표: https://mistral.ai/news/mistral-nemo
- HuggingFace (Base): https://huggingface.co/mistralai/Mistral-Nemo-Base-2407
- HuggingFace (Instruct): https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407
- NVIDIA NIM: https://ai.nvidia.com/