Llama 3
개요
- 출시일: 2024년 4월 18일
- 개발사: Meta AI
- 오픈소스 특징: Llama 시리즈의 3세대 모델. 새로운 토크나이저와 GQA 적용으로 효율성 대폭 개선
사양
| 사이즈 |
파라미터 |
Context Length |
학습 토큰 |
| 8B |
8B |
8K |
15T+ |
| 70B |
70B |
8K |
15T+ |
기술 상세
- 아키텍처: Transformer (auto-regressive)
- 어휘 크기: 128K 토큰 (Llama 2의 32K 대비 4배)
- Attention: Grouped Query Attention (GQA) - 8B와 70B 모두 적용
- 학습 데이터: 15조 토큰 이상 (Llama 2 대비 7배)
- 학습 클러스터: 24,000+ GPU
라이선스
- 라이선스 유형: Meta Llama 3 Community License
- 상업적 사용: 허용
- 제한 조건: 월간 활성 사용자(MAU) 7억 명 이상인 서비스의 경우 Meta로부터 별도 라이선스 필요
- 파생 모델: Llama 명칭 사용 시 "Built with Llama" 표기 필요
주요 특징
- 128K 토큰 어휘로 언어 인코딩 효율성 대폭 향상
- GQA 적용으로 추론 확장성 개선
- 15조+ 토큰의 고품질 학습 데이터
- Llama 2 70B 수준의 성능을 8B로 달성
- 향상된 코드 생성 능력
- 개선된 instruction following
벤치마크 성능
| 벤치마크 |
Llama 3 8B |
Llama 2 70B |
Llama 3 70B |
| MMLU (5-shot) |
66.6 |
68.9 |
79.5 |
| HumanEval (0-shot) |
62.2 |
29.9 |
81.7 |
| GSM-8K (8-shot) |
79.6 |
54.4 |
93.0 |
장점
- 8B 모델이 Llama 2 70B에 근접하는 성능
- 효율적인 토크나이저로 빠른 처리
- GQA로 메모리 효율성 향상
- 코드 생성에서 뛰어난 성능
- 다양한 벤치마크에서 경쟁 모델 대비 우수
단점/한계
- 8K 컨텍스트 길이로 긴 문서 처리에 제한
- 텍스트 전용 모델 (멀티모달 미지원)
- 다국어 지원 제한적 (영어 최적화)
- 405B 대형 모델 미제공 (3.1에서 제공)
- Tool use 네이티브 미지원 (3.1에서 추가)
다운로드/사용
HuggingFace
- 8B Base: https://huggingface.co/meta-llama/Meta-Llama-3-8B
- 8B Instruct: https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct
- 70B Base: https://huggingface.co/meta-llama/Meta-Llama-3-70B
- 70B Instruct: https://huggingface.co/meta-llama/Meta-Llama-3-70B-Instruct
- https://www.llama.com/
- https://ai.meta.com/llama/
클라우드 서비스
- Amazon Bedrock
- Azure AI
- Google Cloud Vertex AI
- Together AI
- Groq
참고 자료
- Meta AI 공식 블로그: https://ai.meta.com/blog/meta-llama-3/
- GitHub: https://github.com/meta-llama/llama3
- Llama 공식 문서: https://www.llama.com/docs/
- Llama 3 라이선스: https://www.llama.com/llama3/license/