llama3에 대한 Andrej Karpathy의 생각 | 일일일
### 🙋 추천 이유
- llama3 모델에 대한 기술적 통찰을 원하는 분에게 추천합니다.
- llama3의 성능과 아키텍처를 이해하여 프로젝트에 적합한 모델을 선택하는 데 도움을 줄 수 있습니다.
### ✅ 간단 요약
- llama3는 8B와 70B 모델을 출시하며, GPT-4 수준에 근접한 성능을 보입니다.
- 모든 모델에서 Grouped Query Attention(GQA) 기법을 적용하여 효율성을 높였습니다.
- 15조 개의 토큰으로 훈련되어 고품질 데이터 기반의 모델로 평가받고 있습니다.