Hy3 모델에는 메모리가 얼마나 필요한가요?

4비트에서 가중치가 약 166 GB이고, 컨텍스트 여유까지 더하면 모두 179 GB입니다. macOS는 기본적으로 GPU가 통합 메모리의 약 75%를 쓰도록 허용하므로, Mac에서는 통합 메모리가 256GB 이상 필요합니다.

Mac에서 Hy3 모델은 얼마나 빠른가요?

생성 속도는 메모리 대역폭에 달려 있습니다. 여기서 가장 빠른 Mac은 256GB M5 Ultra로, 초당 약 46–81토큰입니다(4비트). 실행할 수 있는 최소 사양 Mac인 256GB M5 Ultra에서는 초당 약 46–81토큰입니다.

Hy3 모델이 크기에 비해 빠른 이유는 무엇인가요?

전문가 혼합(MoE) 모델이기 때문입니다. 메모리에는 295B 파라미터를 올려 두지만 토큰마다 21B만 읽으므로, 훨씬 작은 모델과 비슷한 속도로 생성합니다.

Mac에서 Hy3 실행될까? 메모리와 속도

정밀도별 메모리

버전	가중치	컨텍스트 포함	최소 사양 Mac
8비트	313 GB	339 GB	512 GB
6비트	240 GB	259 GB	512 GB
4비트	166 GB	179 GB	256 GB
3비트 품질 낮음	129 GB	139 GB	192 GB
2비트 품질 낮음	92.2 GB	99.6 GB	192 GB

모든 Apple 칩에서

칩마다 Hy3 모델을 실행할 수 있는 가장 작은 메모리 용량, 거기에 맞는 최적의 버전, 예상 생성 속도입니다.

칩	필요량	버전	토큰/초
M6	맞는 용량 없음	너무 큼	–
M5 Ultra	256 GB	4비트 쾌적함	46–81
M5 Max	128 GB	2비트 아슬아슬	42–74
M5 Pro	맞는 용량 없음	너무 큼	–
M5	맞는 용량 없음	너무 큼	–
M4 Max	128 GB	2비트 아슬아슬	37–66
M4 Pro	맞는 용량 없음	너무 큼	–
M4	맞는 용량 없음	너무 큼	–
M3 Ultra	256 GB	4비트 쾌적함	31–56
M3 Max	128 GB	2비트 아슬아슬	27–48
M3 Pro	맞는 용량 없음	너무 큼	–
M3	맞는 용량 없음	너무 큼	–
M2 Ultra	192 GB	3비트 쾌적함	39–70
M2 Max	맞는 용량 없음	너무 큼	–
M2 Pro	맞는 용량 없음	너무 큼	–
M2	맞는 용량 없음	너무 큼	–
M1 Ultra	128 GB	2비트 아슬아슬	55–97
M1 Max	맞는 용량 없음	너무 큼	–
M1 Pro	맞는 용량 없음	너무 큼	–
M1	맞는 용량 없음	너무 큼	–

실행하는 방법

가장 쉬운 방법: 무료 오픈 소스인 MLX Harness를 다운로드하세요. Hy3 모델을 검색해 내 Mac에 맞는 버전을 받으면 바로 채팅할 수 있습니다. OpenAI 호환 API로 다른 앱에 모델을 제공할 수도 있습니다.MLX Harness 다운로드무료 · Apple Silicon · macOS 14.5 이상
터미널에서 Apple의 MLX로:pip install mlx-lmmlx_lm.chat --model mlx-community/Hy3-OptiQ-2bit빌드: Hugging Face의 mlx-community/Hy3-OptiQ-2bit. 다른 정밀도도 같은 곳에 있습니다.

단계별 안내: Mac에서 LLM 다운로드하고 실행하기 · MLX Harness 사용법 · MLX vs Ollama vs llama.cpp

Hy3 정보

개발사	Tencent
파라미터	전체 295B · 활성 21B(전문가 혼합)
컨텍스트	256K토큰
라이선스	Apache-2.0
출시	2026-07
입력	텍스트
지능	Artificial Analysis Intelligence Index 25.3점
가중치	tencent/Hy3

자주 묻는 질문

Hy3 모델에는 메모리가 얼마나 필요한가요?: 4비트에서 가중치가 약 166 GB이고, 컨텍스트 여유까지 더하면 모두 179 GB입니다. macOS는 기본적으로 GPU가 통합 메모리의 약 75%를 쓰도록 허용하므로, Mac에서는 통합 메모리가 256GB 이상 필요합니다.
Mac에서 Hy3 모델은 얼마나 빠른가요?: 생성 속도는 메모리 대역폭에 달려 있습니다. 여기서 가장 빠른 Mac은 256GB M5 Ultra로, 초당 약 46–81토큰입니다(4비트). 실행할 수 있는 최소 사양 Mac인 256GB M5 Ultra에서는 초당 약 46–81토큰입니다.
Hy3 모델이 크기에 비해 빠른 이유는 무엇인가요?: 전문가 혼합(MoE) 모델이기 때문입니다. 메모리에는 295B 파라미터를 올려 두지만 토큰마다 21B만 읽으므로, 훨씬 작은 모델과 비슷한 속도로 생성합니다.

비슷한 모델

모든 모델 · 모든 Mac · 내 Mac 비교하기

모델 카드나 README용

Hy3 모델을 쾌적하게 실행하는 최소 사양 Mac을 보여 주고 이 페이지로 연결합니다.

[![Runs on a Mac](https://mlx.app/badge/run/hy3.svg)](https://mlx.app/run/hy3)

계산 방법

메모리: 모델 파라미터를 가중치당 8, 6, 4, 3, 2비트로 계산하고 MLX의 그룹 스케일(가중치당 0.5비트)을 더하거나 네이티브 형식 그대로 계산한 뒤, 컨텍스트를 위한 여유를 더했습니다. macOS는 기본적으로 GPU가 통합 메모리의 약 75%를 쓰도록 허용합니다. 속도: 메모리 대역폭을 토큰당 읽는 바이트 수로 나눈 값이 한 대화의 상한입니다. llama.cpp의 Apple Silicon 공개 벤치마크에서 실제 속도는 그 상한의 약 45~80%였고, 여기 표시한 범위가 바로 그 값입니다. 측정값이 아닌 추정값이니, 내 Mac은 MLX Bench에서 직접 측정해 보세요. 모델 수치는 각 공식 모델 카드, 칩 수치는 Apple 기술 사양에서 가져왔습니다. 2026-10-19 확인. mlx.app/compare와 같은 데이터입니다.