LLM 학습·추론에 필요한 GPU 계산
모델 크기와 작업을 고르면 필요한 VRAM, GPU 수, 처리량, 학습 시간, 전기요금을 계산합니다.
예시 계산H100 80GB 기준 · 배치 1 · 컨텍스트 2048
Llama 2 7B · FP16 · 추론
필요 VRAM0
1
2
3
4
5
6
7
8
90
1
2
3
4
5
6
7
8
9.0
1
2
3
4
5
6
7
8
9GB
- 모델 가중치 14.0
- KV 캐시 0.27
- 활성화 0.38
- +15% 여유 2.19
예시 계산H100 80GB 기준 · 배치 1 · 컨텍스트 2048
Llama 3.1 70B · FP16 · 추론
필요 VRAM0
1
2
3
4
5
6
7
8
90
1
2
3
4
5
6
7
8
90
1
2
3
4
5
6
7
8
9.0
1
2
3
4
5
6
7
8
9GB
- 모델 가중치 140.0
- KV 캐시 0.67
- 활성화 0.75
- +15% 여유 21.2
예시 계산H100 80GB 기준 · 배치 1 · 컨텍스트 2048
Llama 3.1 8B · BF16 · 파인튜닝
필요 VRAM0
1
2
3
4
5
6
7
8
90
1
2
3
4
5
6
7
8
90
1
2
3
4
5
6
7
8
9.0
1
2
3
4
5
6
7
8
9GB
- 모델 가중치 16.0
- 옵티마이저 96.0
- 그래디언트 16.0
- 활성화 18.3
- +15% 여유 21.9
- 예시: Llama 2 7B · FP16 · 추론, 배치 1, 컨텍스트 2048 — 필요 VRAM 16.8 GB, H100 80GB 1장, 사용률 21%
- 예시: Llama 3.1 70B · FP16 · 추론, 배치 1, 컨텍스트 2048 — 필요 VRAM 162.6 GB, H100 80GB 4장, 사용률 51%
- 예시: Llama 3.1 8B · BF16 · 파인튜닝, 배치 1, 컨텍스트 2048 — 필요 VRAM 168.2 GB, H100 80GB 4장, 사용률 53%
- GPU 사양
- NVIDIA · AMD · Intel 데이터센터·워크스테이션 GPU, 제조사 공식 데이터시트 기준
- 계산 항목
- 필요 VRAM · GPU 수 · 처리량(TPS) · 학습 시간 · 전기요금(PUE 포함)
- 모델
- Dense · MoE, FP32부터 FP4까지 정밀도별 계산