용어 사전 (Glossary)
핵심 용어와 개념의 정의 및 상세 문서 링크. 실무 문서에서 모르는 용어가 나오면 여기서 찾아보자.
목차
통계 (Statistics)
| 용어 |
설명 |
상세 문서 |
| 기술 통계 |
데이터의 특성을 요약하고 시각화하는 방법 (평균, 분산, 분위수 등) |
기술 통계 |
| 확률론 |
불확실성을 수학적으로 다루는 이론. 조건부확률, 독립성, 기댓값 등 |
확률론 |
| 확률 분포 |
확률 변수가 취할 수 있는 값과 그 확률을 나타내는 함수 |
확률 분포 |
| 정규 분포 |
평균을 중심으로 좌우 대칭인 종 모양 분포 (가우시안 분포) |
확률 분포 |
| 이항 분포 |
n번의 독립적 베르누이 시행에서 성공 횟수의 분포 |
확률 분포 |
| 포아송 분포 |
단위 시간/공간 내 발생하는 이벤트 수의 분포 |
확률 분포 |
| 가설 검정 |
표본 데이터를 바탕으로 모집단에 대한 가설을 검증하는 통계적 추론 |
가설 검정 |
| p-value |
귀무가설이 참일 때 관측값 이상의 극단적인 결과가 나올 확률 |
가설 검정 |
| 신뢰 구간 |
모수가 포함될 것으로 기대되는 구간 (예: 95% CI) |
가설 검정 |
| 베이지안 통계 |
사전 확률과 데이터를 결합하여 사후 확률을 추론하는 방법 |
베이지안 통계 |
| 사전 분포 (Prior) |
데이터 관측 전 모수에 대한 믿음을 나타내는 분포 |
베이지안 통계 |
| 사후 분포 (Posterior) |
데이터 관측 후 업데이트된 모수의 분포 |
베이지안 통계 |
| 우도 (Likelihood) |
주어진 모수 하에서 데이터가 관측될 확률 |
베이지안 통계 |
ML 기초 (Machine Learning)
| 용어 |
설명 |
상세 문서 |
| 경사 하강법 |
손실 함수를 최소화하기 위해 파라미터를 반복 업데이트하는 알고리즘 |
경사 하강법 |
| SGD |
미니배치 단위로 기울기를 계산하여 업데이트하는 확률적 경사 하강법 |
경사 하강법 |
| 학습률 (Learning Rate) |
파라미터 업데이트의 크기를 결정하는 하이퍼파라미터 |
경사 하강법 |
| 손실 함수 |
모델 예측과 실제 값의 차이를 정량화하는 함수 |
손실 함수 |
| MSE |
평균 제곱 오차. 회귀 문제의 대표적 손실 함수 |
손실 함수 |
| Cross-Entropy |
분류 문제의 대표적 손실 함수. 확률 분포 간 차이 측정 |
손실 함수 |
| 정규화 (Regularization) |
과적합 방지를 위해 모델 복잡도에 페널티를 부과하는 기법 |
정규화 |
| L1 정규화 (Lasso) |
가중치의 절댓값 합을 페널티로 추가. 희소 모델 유도 |
정규화 |
| L2 정규화 (Ridge) |
가중치의 제곱합을 페널티로 추가. 가중치 크기 억제 |
정규화 |
| 과적합 (Overfitting) |
훈련 데이터에 과도하게 맞춰져 일반화 성능이 떨어지는 현상 |
정규화 |
| 교차 검증 |
데이터를 여러 폴드로 나눠 모델 성능을 평가하는 기법 |
교차 검증 |
| K-Fold CV |
데이터를 K개 폴드로 나눠 K번 학습/검증하는 교차 검증 |
교차 검증 |
| 특성 엔지니어링 |
원본 데이터를 모델 학습에 적합한 형태로 변환하는 과정 |
특성 엔지니어링 |
| 원-핫 인코딩 |
범주형 변수를 이진 벡터로 변환하는 기법 |
특성 엔지니어링 |
| 스케일링 |
특성의 범위를 조정하는 전처리 (Min-Max, StandardScaler 등) |
특성 엔지니어링 |
| 평가 지표 |
모델 성능을 정량화하는 지표 |
평가 지표 |
| Accuracy |
전체 예측 중 정확히 맞춘 비율 |
평가 지표 |
| Precision |
양성 예측 중 실제 양성의 비율 |
평가 지표 |
| Recall |
실제 양성 중 양성으로 예측한 비율 (민감도) |
평가 지표 |
| F1 Score |
Precision과 Recall의 조화 평균 |
평가 지표 |
| AUC-ROC |
ROC 곡선 아래 면적. 분류기의 전반적 성능 지표 |
평가 지표 |
| RMSE |
평균 제곱근 오차. 회귀 모델의 대표적 평가 지표 |
평가 지표 |
DL 기초 (Deep Learning)
| 용어 |
설명 |
상세 문서 |
| 신경망 |
뉴런을 모방한 노드들이 레이어로 연결된 계산 모델 |
신경망 기초 |
| 퍼셉트론 |
가장 단순한 형태의 신경망. 선형 분류기 |
신경망 기초 |
| MLP |
다층 퍼셉트론. 여러 은닉층을 가진 피드포워드 네트워크 |
신경망 기초 |
| 역전파 |
출력에서 입력 방향으로 기울기를 전파하여 가중치를 업데이트하는 알고리즘 |
역전파 |
| 연쇄 법칙 (Chain Rule) |
합성 함수의 미분을 계산하는 규칙. 역전파의 수학적 기반 |
역전파 |
| 기울기 소실 |
깊은 네트워크에서 기울기가 0에 가까워지는 문제 |
역전파 |
| 기울기 폭발 |
기울기가 지수적으로 증가하여 학습이 불안정해지는 문제 |
역전파 |
| 가중치 초기화 |
학습 시작 시 가중치의 초기값을 설정하는 방법 |
가중치 초기화 |
| Xavier 초기화 |
입출력 노드 수를 고려한 초기화. sigmoid/tanh에 적합 |
가중치 초기화 |
| He 초기화 |
ReLU 활성화에 최적화된 초기화 방법 |
가중치 초기화 |
| 활성화 함수 |
신경망에 비선형성을 추가하는 함수 |
활성화 함수 |
| ReLU |
max(0, x). 현재 가장 널리 사용되는 활성화 함수 |
활성화 함수 |
| Sigmoid |
출력을 0~1로 압축. 이진 분류 출력층에 사용 |
활성화 함수 |
| Softmax |
출력을 확률 분포로 변환. 다중 클래스 분류에 사용 |
활성화 함수 |
| GELU |
가우시안 오차 함수 기반 활성화. Transformer에서 사용 |
활성화 함수 |
| SwiGLU |
Swish와 GLU의 결합. 최신 LLM에서 사용 |
활성화 함수 |
| 옵티마이저 |
손실 함수를 최소화하는 파라미터 업데이트 알고리즘 |
최적화 알고리즘 |
| Adam |
모멘텀과 적응적 학습률을 결합한 옵티마이저 |
최적화 알고리즘 |
| AdamW |
Adam + 가중치 감쇠(Weight Decay). LLM 학습에 표준 |
최적화 알고리즘 |
| 모멘텀 |
이전 기울기의 방향을 누적하여 학습 가속화 |
최적화 알고리즘 |
| 배치 정규화 |
미니배치 단위로 정규화하여 학습을 안정화하는 기법 |
정규화 |
| 레이어 정규화 |
레이어 단위로 정규화. Transformer에서 사용 |
정규화 |
| RMS 정규화 |
Root Mean Square 기반 정규화. Llama 등 최신 LLM에서 사용 |
정규화 |
| 드롭아웃 |
학습 중 무작위로 노드를 비활성화하여 과적합 방지 |
정규화 기법 |
| Early Stopping |
검증 성능이 악화되면 학습을 조기 종료 |
정규화 기법 |
LLM (Large Language Models)
| 용어 |
설명 |
상세 문서 |
| Transformer |
Attention 메커니즘 기반 아키텍처. 현대 LLM의 기반 |
Transformer |
| Encoder |
입력을 표현으로 변환하는 Transformer 구성 요소 |
Transformer |
| Decoder |
표현을 출력으로 변환하는 Transformer 구성 요소 |
Transformer |
| Attention |
시퀀스 내 요소들 간의 관계를 학습하여 관련 정보에 집중하는 메커니즘 |
Attention |
| Self-Attention |
같은 시퀀스 내 모든 위치 간의 관계를 계산 |
Attention |
| Multi-Head Attention |
여러 어텐션 헤드를 병렬로 수행하여 다양한 관점 포착 |
Attention |
| Query/Key/Value |
Attention 연산의 세 가지 구성 요소 (Q, K, V) |
Attention |
| KV Cache |
추론 시 Key, Value를 캐싱하여 연산량 절약 |
Attention |
| 토크나이징 |
텍스트를 모델이 처리할 수 있는 토큰 단위로 분리 |
토크나이징 |
| BPE |
Byte Pair Encoding. 빈도 기반 서브워드 토크나이저 |
토크나이징 |
| SentencePiece |
언어 독립적 서브워드 토크나이저 |
토크나이징 |
| 임베딩 |
토큰을 연속적인 벡터 공간으로 매핑 |
임베딩 |
| 위치 인코딩 |
토큰의 순서 정보를 임베딩에 추가하는 방법 |
임베딩 |
| RoPE |
Rotary Position Embedding. 상대적 위치 정보 인코딩 |
임베딩 |
| 파인튜닝 |
사전학습 모델을 특정 태스크에 맞게 추가 학습 |
파인튜닝 |
| LoRA |
Low-Rank Adaptation. 저랭크 행렬로 효율적 파인튜닝 |
파인튜닝 |
| QLoRA |
양자화 + LoRA. 메모리 효율적 파인튜닝 |
파인튜닝 |
| SFT |
Supervised Fine-Tuning. 지도 학습 방식 파인튜닝 |
파인튜닝 |
| RLHF |
인간 피드백 기반 강화학습. 모델 정렬(alignment) 기법 |
파인튜닝 |
| DPO |
Direct Preference Optimization. RLHF의 단순화 버전 |
파인튜닝 |
| 프롬프팅 |
모델에 명령과 맥락을 제공하여 원하는 출력 유도 |
프롬프팅 |
| Few-shot |
몇 개의 예시를 프롬프트에 포함하여 태스크 수행 유도 |
프롬프팅 |
| Chain-of-Thought |
단계별 추론 과정을 유도하는 프롬프팅 기법 |
프롬프팅 |
VLM (Vision-Language Models)
| 용어 |
설명 |
상세 문서 |
| VLM |
Vision-Language Model. 이미지와 텍스트를 함께 이해하는 모델 |
VLM 개요 |
| 멀티모달 |
여러 모달리티(이미지, 텍스트, 오디오 등)를 통합하여 학습 |
멀티모달 |
| Vision Encoder |
이미지를 벡터 시퀀스로 변환하는 인코더 (ViT, CLIP 등) |
이미지 인코딩 |
| ViT |
Vision Transformer. 이미지를 패치로 나눠 Transformer로 처리 |
이미지 인코딩 |
| CLIP |
OpenAI의 이미지-텍스트 대조 학습 모델 |
이미지 인코딩 |
| Cross-modal Attention |
이미지와 텍스트 모달리티 간 상호작용을 학습하는 메커니즘 |
Cross-Attention |
| Token Fusion |
Vision 토큰과 텍스트 토큰을 결합하는 방식 |
Token Fusion |
| Early Fusion |
초기 레이어에서 모달리티 결합 |
Token Fusion |
| Late Fusion |
후반 레이어에서 모달리티 결합 |
Token Fusion |
| OCR vs VLM |
문서 이해에서 전통적 OCR+LLM과 VLM의 선택 기준 |
OCR vs VLM |
데이터 엔지니어링 (Data Engineering)
| 용어 |
설명 |
상세 문서 |
| ETL |
Extract-Transform-Load. 전통적 데이터 처리 패턴 |
ETL/ELT |
| ELT |
Extract-Load-Transform. 현대적 데이터 처리 패턴 |
ETL/ELT |
| 데이터 파이프라인 |
데이터 처리 작업의 자동화된 워크플로우 |
파이프라인 |
| DAG |
Directed Acyclic Graph. 작업 의존성 그래프 |
파이프라인 |
| Data Lake |
원시 데이터를 저장하는 중앙 저장소 |
스토리지 |
| Data Warehouse |
분석 최적화된 구조화된 데이터 저장소 |
스토리지 |
| Data Lakehouse |
Lake와 Warehouse의 장점을 결합한 아키텍처 |
스토리지 |
| Parquet |
컬럼 기반 파일 포맷. 분석 쿼리에 효율적 |
스토리지 |
| 스트리밍 처리 |
실시간 데이터 처리 시스템 |
스트리밍 |
| Kafka |
분산 이벤트 스트리밍 플랫폼 |
스트리밍 |
| Spark Streaming |
Apache Spark의 스트리밍 처리 모듈 |
스트리밍 |
MLOps
| 용어 |
설명 |
상세 문서 |
| MLOps |
ML 시스템의 개발, 배포, 운영 자동화 방법론 |
MLOps 개요 |
| Airflow |
워크플로우 오케스트레이션 플랫폼 |
Airflow |
| MLflow |
ML 실험 추적 및 모델 관리 플랫폼 |
버저닝 |
| DVC |
데이터 버전 관리 도구 |
버저닝 |
| W&B |
Weights & Biases. 실험 추적 및 시각화 플랫폼 |
버저닝 |
| Feature Store |
ML 특성의 중앙 저장소 |
Feature Store |
| 모델 서빙 |
학습된 모델을 프로덕션에서 추론 가능하게 배포 |
서빙 |
| TorchServe |
PyTorch 모델 서빙 프레임워크 |
서빙 |
| Triton |
NVIDIA의 고성능 추론 서버 |
서빙 |
| vLLM |
LLM 특화 고성능 추론 엔진 |
서빙 |
| 모델 모니터링 |
프로덕션 모델의 성능 추적 및 드리프트 감지 |
모니터링 |
| 데이터 드리프트 |
프로덕션 데이터 분포가 학습 데이터와 달라지는 현상 |
모니터링 |
| 모델 드리프트 |
모델 성능이 시간에 따라 저하되는 현상 |
모니터링 |
| CI/CD for ML |
ML 프로젝트의 지속적 통합/배포 |
CI/CD |
인프라 (Infrastructure)
| 용어 |
설명 |
상세 문서 |
| Docker |
애플리케이션 컨테이너화 플랫폼 |
Docker |
| 컨테이너 |
애플리케이션과 의존성을 패키징한 격리 환경 |
Docker |
| 이미지 |
컨테이너 실행을 위한 템플릿 |
Docker |
| Kubernetes |
컨테이너 오케스트레이션 플랫폼 |
Kubernetes |
| Pod |
Kubernetes의 최소 배포 단위 |
Kubernetes |
| Deployment |
Pod의 선언적 관리 및 스케일링 |
Kubernetes |
| AWS |
Amazon Web Services. 클라우드 컴퓨팅 플랫폼 |
AWS |
| EC2 |
AWS의 가상 서버 서비스 |
AWS |
| S3 |
AWS의 객체 스토리지 서비스 |
AWS |
| SageMaker |
AWS의 ML 플랫폼 |
AWS |
| VPC |
Virtual Private Cloud. 클라우드 내 가상 네트워크 |
네트워킹 |
| GPU 관리 |
ML 워크로드를 위한 GPU 인프라 운영 |
GPU 관리 |
| CUDA |
NVIDIA의 GPU 병렬 컴퓨팅 플랫폼 |
GPU 관리 |
| Terraform |
Infrastructure as Code 도구 |
Terraform |
| IaC |
인프라를 코드로 정의하고 관리하는 방식 |
Terraform |
CS 지식 (Computer Science)
| 용어 |
설명 |
상세 문서 |
| 자료구조 |
데이터를 효율적으로 저장하고 접근하기 위한 구조 |
자료구조 |
| 배열 |
연속된 메모리에 저장되는 고정 크기 자료구조 |
자료구조 |
| 해시 테이블 |
키-값 쌍을 O(1)에 접근하는 자료구조 |
자료구조 |
| 트리 |
계층적 구조의 비선형 자료구조 |
자료구조 |
| 알고리즘 |
문제를 해결하기 위한 단계적 절차 |
알고리즘 |
| 시간 복잡도 |
알고리즘 실행 시간의 증가율 (Big-O 표기법) |
알고리즘 |
| 공간 복잡도 |
알고리즘이 사용하는 메모리의 증가율 |
알고리즘 |
| 운영체제 |
하드웨어 자원을 관리하는 시스템 소프트웨어 |
운영체제 |
| 프로세스 |
실행 중인 프로그램의 인스턴스 |
운영체제 |
| 스레드 |
프로세스 내 실행 단위 |
운영체제 |
| 메모리 관리 |
RAM 할당 및 해제 관리 |
운영체제 |
| 네트워크 |
컴퓨터 간 데이터 통신 시스템 |
네트워크 |
| TCP/IP |
인터넷 프로토콜 스택 |
네트워크 |
| HTTP |
웹 통신 프로토콜 |
네트워크 |
| 데이터베이스 |
체계적 데이터 저장/관리 시스템 |
데이터베이스 |
| SQL |
관계형 데이터베이스 쿼리 언어 |
데이터베이스 |
| NoSQL |
비관계형 데이터베이스 |
데이터베이스 |
| 벡터 DB |
고차원 벡터 저장/검색 최적화 DB |
데이터베이스 |
데이터 분석 (Data Analysis)
| 용어 |
설명 |
상세 문서 |
| RFM 분석 |
Recency, Frequency, Monetary 기반 고객 세분화 |
RFM 분석 |
| 퍼널 분석 |
사용자 여정의 단계별 전환율 분석 |
퍼널 분석 |
| 코호트 분석 |
동일 특성 그룹의 시간에 따른 행동 분석 |
코호트 분석 |
| LTV |
Life Time Value. 고객 생애 가치 |
LTV 분석 |
| A/B 테스트 |
두 버전을 비교하는 통제 실험 |
A/B 테스트 |
앙상블 (Ensemble)
| 용어 |
설명 |
상세 문서 |
| 앙상블 |
여러 모델을 결합하여 성능 향상 |
앙상블 개요 |
| Bagging |
Bootstrap Aggregating. 병렬 앙상블 기법 |
Bagging |
| Boosting |
순차적으로 약한 학습기를 결합하는 기법 |
Boosting |
| Stacking |
메타 모델로 여러 모델의 예측을 결합 |
Stacking |
| Gradient Boosting |
잔차를 순차적으로 학습하는 부스팅 |
Boosting |
| XGBoost |
eXtreme Gradient Boosting. 최적화된 GBM 구현 |
XGBoost |
| LightGBM |
Leaf-wise 성장 방식의 GBM. 대규모 데이터에 효율적 |
LightGBM |
| Random Forest |
여러 결정 트리를 배깅한 앙상블 |
랜덤포레스트 |
LLM 아키텍처 (Advanced)
| 용어 |
설명 |
상세 문서 |
| MoE |
Mixture of Experts. 희소 활성화 기반 스케일링 기법 |
MoE |
| SSM |
State Space Model. Mamba 등 순환 기반 아키텍처 |
SSM |
| 양자화 |
모델 가중치의 비트 수를 줄여 메모리/속도 최적화 |
양자화 |
| 컨텍스트 확장 |
LLM의 최대 입력 길이를 확장하는 기법 |
컨텍스트 확장 |
| 하이브리드 아키텍처 |
Transformer + SSM 등 여러 아키텍처 결합 |
하이브리드 |
마지막 업데이트: 2025-01-22