Kumbukumbu kwa kila usahihi
| Toleo | Weights | Pamoja na context | Mac ndogo zaidi |
|---|---|---|---|
| 8-bit | 8.5 GB | 10 GB | 16 GB |
| 6-bit | 6.5 GB | 8 GB | 16 GB |
| 4-bit | 4.5 GB | 6 GB | 8 GB |
| 3-bit ubora wa chini | 3.5 GB | 5 GB | 8 GB |
| 2-bit ubora wa chini | 2.5 GB | 4 GB | 8 GB |
Kwenye kila chipu ya Apple
Ukubwa mdogo zaidi wa kumbukumbu wa kila chipu unaoendesha Gemma 4 E4B, toleo bora linalotosha humo, na kasi ya kuandika unayoweza kutarajia.
| Chipu | Inahitaji | Toleo | Tokeni/s |
|---|---|---|---|
| M6 | 16 GB | 8-bit Inaenda vizuri | 14–26 |
| M5 Ultra | 96 GB | 8-bit Inaenda vizuri | 113–200 |
| M5 Max | 36 GB | 8-bit Inaenda vizuri | 43–77 |
| M5 Pro | 24 GB | 8-bit Inaenda vizuri | 29–51 |
| M5 | 16 GB | 8-bit Inaenda vizuri | 14–26 |
| M4 Max | 36 GB | 8-bit Inaenda vizuri | 38–68 |
| M4 Pro | 24 GB | 8-bit Inaenda vizuri | 26–46 |
| M4 | 16 GB | 8-bit Inaenda vizuri | 11–20 |
| M3 Ultra | 96 GB | 8-bit Inaenda vizuri | 77–137 |
| M3 Max | 36 GB | 8-bit Inaenda vizuri | 28–50 |
| M3 Pro | 18 GB | 8-bit Inaenda vizuri | 14–25 |
| M3 | 8 GB | 4-bit Inaenda vizuri | 18–32 |
| M2 Ultra | 64 GB | 8-bit Inaenda vizuri | 75–133 |
| M2 Max | 32 GB | 8-bit Inaenda vizuri | 38–67 |
| M2 Pro | 16 GB | 8-bit Inaenda vizuri | 19–33 |
| M2 | 8 GB | 4-bit Inaenda vizuri | 18–32 |
| M1 Ultra | 64 GB | 8-bit Inaenda vizuri | 75–133 |
| M1 Max | 32 GB | 8-bit Inaenda vizuri | 38–67 |
| M1 Pro | 16 GB | 8-bit Inaenda vizuri | 19–33 |
| M1 | 8 GB | 4-bit Inaenda vizuri | 12–22 |
Jinsi ya kuiendesha
- Njia rahisi: pakua MLX Harness, bure na open source. Tafuta Gemma 4 E4B, pakua toleo linalotosha Mac yako, na anza kuzungumza. Pia huipa programu zako nyingine modeli kupitia API inayooana na OpenAI.Pakua MLX HarnessBure · Apple Silicon · macOS 14.5 au mpya zaidi
- Ndani ya Terminal kwa MLX ya Apple:
pip install mlx-lmmlx_lm.chat --model mlx-community/gemma-4-e4b-it-4bitToleo: mlx-community/gemma-4-e4b-it-4bit kwenye Hugging Face. Usahihi mwingine uko kando yake.
Hatua kwa hatua: pakua na uendeshe LLM kwenye Mac · jinsi ya kutumia MLX Harness · MLX dhidi ya Ollama dhidi ya llama.cpp
Kuhusu Gemma 4 E4B
| Imetengenezwa na | Google DeepMind |
|---|---|
| Vigezo | 8B (dense) |
| Context | tokeni 128K |
| Leseni | Apache-2.0 |
| Ilitolewa | 2026-03 |
| Ingizo | Maandishi na picha |
| Akili | 8.9 kwenye Artificial Analysis Intelligence Index |
| Weights | google/gemma-4-E4B-it |
Maswali
- Gemma 4 E4B inahitaji kumbukumbu kiasi gani?
- Takriban 4.5 GB ya weights kwa 4-bit, pamoja na nafasi ya context: 6 GB kwa jumla. Kwenye Mac hiyo inamaanisha GB 8 za unified memory au zaidi, kwa kuwa kwa chaguo-msingi macOS huiruhusu GPU kutumia takriban 75% yake.
- Gemma 4 E4B ina kasi gani kwenye Mac?
- Kasi ya kuandika hutegemea bandwidth ya kumbukumbu. Mac yenye kasi zaidi kwa modeli hii hapa ni M5 Ultra yenye GB 96, kwa takriban tokeni 113–200 kwa sekunde (8-bit). Mac ndogo zaidi inayoiendesha, yenye GB 8, hufikia takriban 18–32 kwenye M3.
- Je, quantization hudhuru Gemma 4 E4B?
- Kwa biti 4 modeli nyingi hubaki karibu na ubora asili; chini ya biti 4 ubora hushuka haraka zaidi. Chagua usahihi wa juu zaidi unaotosha Mac yako na kubakiza nafasi.
Modeli zinazofanana
Kwa kadi ya modeli yako au README
Huonyesha Mac ndogo zaidi inayoendesha Gemma 4 E4B vizuri na huunganisha hapa.
[](https://mlx.app/run/gemma-4-e4b)Jinsi inavyokokotolewa
Kumbukumbu: vigezo vya modeli kwa biti 8, 6, 4, 3 au 2 kwa kila weight pamoja na group scales za MLX (nusu biti kwa kila weight), au muundo wake asili, pamoja na nafasi ya context juu yake. Kwa chaguo-msingi macOS huiruhusu GPU kutumia takriban 75% ya unified memory. Kasi: bandwidth ya kumbukumbu ikigawanywa kwa baiti zinazosomwa kwa kila tokeni ndiyo kikomo cha juu kwa mazungumzo moja; katika benchmarks za umma za llama.cpp kwenye Apple Silicon uendeshaji halisi hufikia takriban 45% hadi 80% yake, na huo ndio upana unaoonyeshwa. Haya ni makadirio, si vipimo: pima Mac yako mwenyewe kwenye MLX Bench. Takwimu za modeli ni kutoka kwa kadi rasmi ya kila modeli, takwimu za chipu ni kutoka Tech Specs za Apple. Imekaguliwa 2026-10-19. Data ileile ya mlx.app/compare.