Orca-2¶

개요¶

Orca-2는 Microsoft Research에서 개발한 소형 언어 모델로, LLaMA-2를 기반으로 합성 데이터를 활용하여 추론 능력을 강화했다. 대형 모델의 복잡한 워크플로우(고급 프롬프트, 다중 호출)를 활용하여 생성된 합성 데이터로 소형 모델에 새로운 추론 능력을 가르치는 것이 목표다.

개발사: Microsoft Research
공개일: 2023년 11월
모델 유형: LLaMA-2 기반 Fine-tuned 모델

사양¶

항목	Orca-2-7b	Orca-2-13b
파라미터 수	7B	13B
기반 모델	LLaMA-2-7B	LLaMA-2-13B
아키텍처	Transformer (Decoder-only)
학습 데이터	합성 데이터 (Azure OpenAI 필터링)
컨텍스트 길이	4,096 토큰

프롬프트 형식¶

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{user_message}<|im_end|>
<|im_start|>assistant

라이선스 및 가격¶

항목	내용
Orca-2 라이선스	Microsoft Research License
LLaMA-2 라이선스	LLAMA 2 Community License
상업적 사용	제한적 (연구 목적)
용도	연구 전용

주요 특징¶

1. 추론 능력 강화¶

사용자 데이터 기반 추론
독해력 (Reading Comprehension)
수학 문제 해결
텍스트 요약

2. 합성 데이터 학습¶

대형 모델(GPT-4 등)의 추론 과정 학습
다양한 추론 전략 습득
Azure 콘텐츠 필터를 통한 데이터 검증

3. 제로샷 최적화¶

제로샷 설정에서 강력한 성능
Few-shot 대비 이점은 제한적

4. Cautious System Prompt¶

기본 시스템 프롬프트:

You are Orca, an AI language model created by Microsoft. 
You are a cautious assistant. You carefully follow instructions. 
You are helpful and harmless and you follow ethical guidelines 
and promote positive behavior.

벤치마크 성능¶

추론 작업¶

작업 유형	설명
AGIEval	학술 테스트
BigBench-Hard	어려운 추론 문제
DROP	복잡한 독해
GSM8K	초등 수학
RACE	독해력 평가
ARC	과학 추론

그라운딩 및 안전성¶

작업 유형	설명
MS-MARCO	검색 기반 QA
TruthfulQA	사실성 평가
ToxiGen	독성 생성 평가

장점¶

소형 모델에서 강력한 추론 능력
제로샷 설정에서 우수한 성능
Azure Content Safety 연동 가능
다양한 추론 작업에 적용 가능
합성 데이터 학습의 효과 입증

단점¶

연구 목적 전용 (상업적 사용 제한)
채팅 최적화 미적용 (RLHF/DPO 미사용)
Few-shot 학습 효과 제한적
시스템 메시지에 따른 성능 변동
수학, 코딩 영역에서 학습 데이터 부족
LLaMA-2의 제한사항 상속
환각(Hallucination) 가능성

제한 사항¶

제한 사항	설명
데이터 편향	학습 데이터의 편향 포함 가능
맥락 이해	실제 세계 이해 제한
투명성	블랙박스 특성
콘텐츠 위험	유해 콘텐츠 생성 가능성
환각	사실이 아닌 정보 생성 가능
오용 가능성	악의적 사용 위험

안전한 사용 가이드¶

Azure AI Content Safety를 통한 콘텐츠 필터링 권장: - 성적 콘텐츠 - 폭력 - 혐오 - 자해

참고자료¶

Hugging Face (13B): https://huggingface.co/microsoft/Orca-2-13b
Hugging Face (7B): https://huggingface.co/microsoft/Orca-2-7b
논문: https://arxiv.org/pdf/2311.11045.pdf
Azure AI Content Safety: https://azure.microsoft.com/en-us/products/ai-services/ai-content-safety