새로운 LLM 사전 훈련 및 후 훈련 패러다임 | 일일일
### 🙋 추천 이유
- 최신 LLM 훈련 방법론에 대해 깊이 있는 이해를 원하는 분에게 추천합니다.
- 실제 업무에서 LLM 모델을 선택하거나 개발할 때, 각 모델의 훈련 파이프라인을 비교하여 최적의 접근 방식을 결정할 수 있습니다.
### ✅ 간단 요약
- Qwen 2, AFM, Gemma 2, Llama 3의 사전 훈련 및 사후 훈련 방법론을 비교합니다.
- 모든 모델이 다단계 사전 훈련 파이프라인을 사용하며, 데이터 품질을 중시하는 경향이 있습니다.
- 사후 훈련에서는 샘플링 기법이 공통적으로 사용되지만, DPO와 RLHF의 선택은 모델마다 다릅니다.