Gaano karaming memory ang kailangan ng Granite 4.2 3B?

Mga 1.7 GB ng weights sa 4-bit, dagdag ang espasyo para sa context: 3.2 GB lahat-lahat. Sa Mac, ibig sabihin nito ay 8 GB na unified memory o higit pa, dahil bilang default, mga 75% nito ang ipinapagamit ng macOS sa GPU.

Gaano kabilis ang Granite 4.2 3B sa Mac?

Nakadepende sa memory bandwidth ang bilis ng pagsusulat. Ang pinakamabilis na Mac para dito ay M5 Ultra na may 96 GB, sa mga 169–300 token bawat segundo (8-bit). Ang pinakamaliit na Mac na kaya ito, na may 8 GB, ay umaabot sa mga 14–25 sa M3.

Nakakasama ba ang quantization sa Granite 4.2 3B?

Sa 4 bit, nananatiling malapit sa orihinal na kalidad ang karamihan ng model; sa ilalim ng 4 bit, mas mabilis bumaba ang kalidad. Piliin ang pinakamataas na precision na kasya sa Mac mo nang may sobrang espasyo.

Kaya ba ng Mac ang Granite 4.2 3B? Memory at bilis

Memory sa bawat precision

Bersyon	Weights	Kasama ang context	Pinakamaliit na Mac
8-bit	3.2 GB	4.7 GB	8 GB
6-bit	2.4 GB	3.9 GB	8 GB
4-bit	1.7 GB	3.2 GB	8 GB
3-bit mas mababang kalidad	1.3 GB	2.8 GB	8 GB
2-bit mas mababang kalidad	0.9 GB	2.4 GB	8 GB

Sa bawat Apple chip

Ang pinakamaliit na memory size ng bawat chip na kaya ang Granite 4.2 3B, ang pinakamagandang bersyong kasya rito, at ang bilis ng pagsusulat na maaasahan mo.

Chip	Kailangan	Bersyon	Token/s
M6	16 GB	8-bit Maayos	22–38
M5 Ultra	96 GB	8-bit Maayos	169–300
M5 Max	36 GB	8-bit Maayos	65–115
M5 Pro	24 GB	8-bit Maayos	43–77
M5	16 GB	8-bit Maayos	22–38
M4 Max	36 GB	8-bit Maayos	58–103
M4 Pro	24 GB	8-bit Maayos	38–68
M4	16 GB	8-bit Maayos	17–30
M3 Ultra	96 GB	8-bit Maayos	115–205
M3 Max	36 GB	8-bit Maayos	42–75
M3 Pro	18 GB	8-bit Maayos	21–38
M3	8 GB	8-bit Maayos	14–25
M2 Ultra	64 GB	8-bit Maayos	113–200
M2 Max	32 GB	8-bit Maayos	56–100
M2 Pro	16 GB	8-bit Maayos	28–50
M2	8 GB	8-bit Maayos	14–25
M1 Ultra	64 GB	8-bit Maayos	113–200
M1 Max	32 GB	8-bit Maayos	56–100
M1 Pro	16 GB	8-bit Maayos	28–50
M1	8 GB	8-bit Maayos	10–17

Paano ito patakbuhin

Ang madaling paraan: i-download ang MLX Harness, libre at open source. Hanapin ang Granite 4.2 3B, i-download ang bersyong kasya sa Mac mo, at mag-chat. Ibinibigay rin nito ang model sa iba mo pang app sa pamamagitan ng API na compatible sa OpenAI.I-download ang MLX HarnessLibre · Apple Silicon · macOS 14.5 o mas bago
Sa Terminal gamit ang MLX ng Apple: Wala pang MLX build mula sa community, kaya gumawa ng isa mula sa opisyal na weights:pip install mlx-lmmlx_lm.convert --hf-path ibm-granite/granite-4.2-3b -q

Hakbang-hakbang: mag-download at magpatakbo ng LLM sa Mac · paano gamitin ang MLX Harness · MLX vs Ollama vs llama.cpp

Tungkol sa Granite 4.2 3B

Gawa ng	IBM
Mga parameter	3B (dense)
Context	128K token
Lisensya	Apache-2.0
Inilabas	2026-08
Input	Text
Intelligence	9.1 sa Artificial Analysis Intelligence Index
Weights	ibm-granite/granite-4.2-3b

Mga tanong

Gaano karaming memory ang kailangan ng Granite 4.2 3B?: Mga 1.7 GB ng weights sa 4-bit, dagdag ang espasyo para sa context: 3.2 GB lahat-lahat. Sa Mac, ibig sabihin nito ay 8 GB na unified memory o higit pa, dahil bilang default, mga 75% nito ang ipinapagamit ng macOS sa GPU.
Gaano kabilis ang Granite 4.2 3B sa Mac?: Nakadepende sa memory bandwidth ang bilis ng pagsusulat. Ang pinakamabilis na Mac para dito ay M5 Ultra na may 96 GB, sa mga 169–300 token bawat segundo (8-bit). Ang pinakamaliit na Mac na kaya ito, na may 8 GB, ay umaabot sa mga 14–25 sa M3.
Nakakasama ba ang quantization sa Granite 4.2 3B?: Sa 4 bit, nananatiling malapit sa orihinal na kalidad ang karamihan ng model; sa ilalim ng 4 bit, mas mabilis bumaba ang kalidad. Piliin ang pinakamataas na precision na kasya sa Mac mo nang may sobrang espasyo.

Mga katulad na model

Bawat model · Bawat Mac · Ihambing ang Mac mo

Para sa model card o README mo

Ipinapakita ang pinakamaliit na Mac na maayos na nagpapatakbo ng Granite 4.2 3B at nagli-link dito.

[![Runs on a Mac](https://mlx.app/badge/run/granite-4.2-3b.svg)](https://mlx.app/run/granite-4.2-3b)

Paano ito kinuwenta

Memory: ang mga parameter ng model sa 8, 6, 4, 3 o 2 bit kada weight dagdag ang group scales ng MLX (kalahating bit kada weight), o ang native format nito, at may espasyo pa para sa context. Bilang default, mga 75% ng unified memory ang ipinapagamit ng macOS sa GPU. Bilis: ang memory bandwidth na hinati sa mga byte na binabasa kada token ang pinakamataas na posible para sa isang usapan; sa mga pampublikong benchmark ng llama.cpp sa Apple Silicon, umaabot ang totoong takbo sa mga 45% hanggang 80% nito, at iyon ang range na ipinapakita. Mga tantiya ito, hindi sukat: sukatin ang sarili mong Mac sa MLX Bench. Ang mga numero ng model ay mula sa opisyal na model card ng bawat isa, at ang sa chip ay mula sa Tech Specs ng Apple. Sinuri noong 2026-10-19. Parehong data ng mlx.app/compare.