Qwen Coder¶
개요¶
- 개발사: Alibaba Cloud (알리바바 클라우드)
- 출시일: 2024년 9월 (Qwen2.5-Coder)
- 특징 요약: 코드 생성 및 프로그래밍 작업에 특화된 Qwen 시리즈의 코딩 전문 모델
사양¶
| 항목 | 내용 |
|---|---|
| 파라미터 | 1.5B, 7B, 14B, 32B (Qwen2.5-Coder 기준) |
| Context Window | 128K tokens |
| 아키텍처 | Transformer Decoder-only, RoPE, GQA |
| 학습 데이터 | 5.5조 토큰 (코드 데이터 비중 높음) |
라이선스¶
- 오픈소스 여부: Apache 2.0
- 상업적 사용 조건: 완전한 상업적 사용 허용
주요 특징¶
- 92개 이상의 프로그래밍 언어 지원
- Fill-in-the-Middle (FIM) 기능 지원으로 코드 완성에 최적화
- 코드 생성, 코드 리뷰, 버그 수정, 코드 설명 등 다양한 코딩 작업 수행
- Repository-level 코드 이해 능력
- HumanEval, MBPP 등 코드 벤치마크에서 최고 수준의 성능
장점¶
- 오픈소스 코딩 모델 중 최상위 성능
- 다양한 프로그래밍 언어 지원
- 긴 컨텍스트로 대규모 코드베이스 처리 가능
- Apache 2.0 라이선스로 상업적 활용 자유로움
- 다양한 크기로 로컬 배포부터 서버 배포까지 유연하게 대응
단점/한계¶
- 일반적인 대화나 추론 작업에서는 범용 모델 대비 성능 저하
- 최신 프로그래밍 트렌드나 라이브러리에 대한 지식은 학습 시점 기준으로 제한
- 복잡한 알고리즘 설계나 아키텍처 결정에서는 한계 존재
- 중국어 코드 주석이나 문서에 더 익숙할 수 있음
참고 자료¶
- GitHub: https://github.com/QwenLM/Qwen2.5-Coder
- HuggingFace: https://huggingface.co/Qwen/Qwen2.5-Coder-32B-Instruct
- 기술 블로그: https://qwenlm.github.io/blog/qwen2.5-coder/
- 논문: https://arxiv.org/abs/2409.12186