Yi-1.5¶
개요¶
- 개발사: 01.AI (영링지능, 이카이푸 설립)
- 출시일: 2024년 5월
- 특징 요약: Yi 시리즈의 업그레이드 버전으로, 추가 500B 토큰 사전학습과 300만 개 다양한 샘플 파인튜닝을 통해 코딩, 수학, 추론 능력이 강화됨
사양¶
| 항목 | 내용 |
|---|---|
| 파라미터 | 6B, 9B, 34B |
| Context Window | 4K tokens (기본), 32K tokens (확장 버전) |
| 아키텍처 | Transformer Decoder-only, Grouped-Query Attention (GQA), SwiGLU |
| 학습 데이터 | 기존 Yi + 추가 500B 토큰 |
라이선스¶
- 오픈소스 여부: Apache 2.0
- 상업적 사용 조건: 완전한 상업적 사용 허용
주요 특징¶
- Yi 모델 대비 코딩 능력 대폭 향상
- 수학적 추론 능력 강화
- 지시 수행(instruction-following) 능력 개선
- 300만 개의 다양한 고품질 샘플로 파인튜닝
- Base, Chat, Chat-16K, Chat-32K 버전 제공
장점¶
- Apache 2.0 라이선스로 완전한 상업적 자유
- 동급 크기 모델 대비 경쟁력 있는 성능
- 다양한 크기 옵션 (6B, 9B, 34B)
- 중국어와 영어 모두 우수한 성능
- 활발한 오픈소스 커뮤니티 지원
단점/한계¶
- 최신 모델들(Qwen 2.5, Llama 3 등) 대비 성능 격차 존재
- 기본 컨텍스트 길이가 4K로 짧음
- 최신 Yi-Lightning 등 후속 모델 출시로 구버전화
- 중국어 학습 데이터 비중으로 인한 잠재적 편향
참고 자료¶
- GitHub: https://github.com/01-ai/Yi-1.5
- HuggingFace: https://huggingface.co/01-ai/Yi-1.5-34B-Chat
- 논문: https://arxiv.org/abs/2403.04652
- 공식 웹사이트: https://www.01.ai/