256 GB असलेल्या Mac साठी सर्वोत्तम LLM कोणते?

ज्या मॉडेलचा Intelligence Index प्रकाशित आहे, त्यांपैकी 256 GB मध्ये चांगल्या चालणाऱ्यांमध्ये Qwen3.8 Flash Next चा स्कोअर सर्वात जास्त आहे (6-बिट). चांगले चालणारे सर्वात मोठे मॉडेल MiMo V2.6 Flash आहे. कोडसाठी: Qwen3 Coder Next.

Mac वर लोकल AI साठी 256 GB पुरेशी आहे का?

इथल्या 73 ओपन मॉडेलपैकी 54 त्यात 4 बिट किंवा त्याहून चांगल्या प्रिसिजनला चांगली चालतात. डिफॉल्टनुसार macOS GPU ला त्यापैकी सुमारे 192 GB वापरू देते; मॉडेल आणि त्याचा कॉन्टेक्स्ट त्यातच बसायला हवा.

256 GB Mac gpt-oss-20b चालवू शकतो का?

हो, नेटिव्ह 4.25-बिट, M3 Ultra वर सेकंदाला सुमारे 194–345 टोकन आणि M5 Ultra वर 284–505.

256 GB Mac साठी सर्वोत्तम लोकल LLM (M3 ते M5): काय चालते

256 GB असलेले Mac

M3 ते M5 मधील 2 चिप 256 GB सह येतात. तिची स्वतःची यादी आणि वेग पाहण्यासाठी कोणतीही चिप उघडा.

चांगली चालतात 61

कॉन्टेक्स्टसाठी जागा ठेवून बसतात, M5 Ultra वर सेकंदाला 10 किंवा जास्त टोकन.

मॉडेल	आवृत्ती	मेमरी	M3 Ultra	M5 Ultra
Qwen3.8 Flash Next180B · 6B सक्रिय · इंटेलिजन्स 39.8	6-बिट	146 GB	75–134	110–196
MiMo V2.6 Flash309B · 15B सक्रिय · इंटेलिजन्स 37.9	नेटिव्ह 4.48-बिट	173 GB	44–78	64–114
Qwen3.8 27B27B · इंटेलिजन्स 33.7	8-बिट	28.7 GB	13–23	19–33
Inkling Small276B · 12B सक्रिय · इंटेलिजन्स 25.7	4-बिट	155 GB	54–96	79–141
Hy3295B · 21B सक्रिय · इंटेलिजन्स 25.3	4-बिट	166 GB	31–56	46–81
Nemotron 3.5 Bolt 74B A9B74B · 9B सक्रिय · इंटेलिजन्स 21.4	8-बिट	78.6 GB	38–68	56–100
Qwen3.6 35B A3B35B · 3B सक्रिय · इंटेलिजन्स 18.2	8-बिट	37.2 GB	115–205	169–300
Muse Glimmer 30B29.6B · इंटेलिजन्स 17.5	8-बिट	31.5 GB	12–21	17–30
Qwen3.5 122B A10B122B · 10B सक्रिय · इंटेलिजन्स 15.6	8-बिट	130 GB	35–62	51–91
Gemma 4 31B30.7B · इंटेलिजन्स 14.7	8-बिट	32.6 GB	11–20	17–29
Nemotron 3.5 Lightning 30B A3B30B · 3B सक्रिय · इंटेलिजन्स 12.9	8-बिट	31.9 GB	115–205	169–300
Granite 4.2 30B30B · इंटेलिजन्स 12.7	8-बिट	31.9 GB	12–21	17–30
MiniCPM5 2B2.52B · इंटेलिजन्स 12.5	8-बिट	2.7 GB	137–243	200–356
gpt-oss-120b117B · 5.1B सक्रिय · इंटेलिजन्स 11.6	नेटिव्ह 4.25-बिट	65.3 GB	137–243	200–356
Mistral Small 4 (119B)119B · 6.5B सक्रिय · इंटेलिजन्स 11.3	8-बिट	126 GB	53–95	78–139
Qwen3.5 9B9B · इंटेलिजन्स 11.2	8-बिट	9.6 GB	38–68	56–100
Granite 4.2 8B8B · इंटेलिजन्स 11.1	8-बिट	8.5 GB	43–77	64–113
Qwen3 Coder Next80B · 3B सक्रिय · इंटेलिजन्स 9.2	8-बिट	85 GB	115–205	169–300
Granite 4.2 3B3B · इंटेलिजन्स 9.1	8-बिट	3.2 GB	115–205	169–300
gpt-oss-20b21B · 3.6B सक्रिय · इंटेलिजन्स 9	नेटिव्ह 4.25-बिट	13.8 GB	194–345	284–505
Nemotron 3 Nano 30B A3B30B · 3.5B सक्रिय · इंटेलिजन्स 8.9	8-बिट	31.9 GB	100–177	146–259
Gemma 4 E4B8B · इंटेलिजन्स 8.9	8-बिट	8.5 GB	77–137	113–200
Llama 4 Scout 17B-16E Instruct109B · 17B सक्रिय · इंटेलिजन्स 6.5	8-बिट	116 GB	20–36	30–53
Ministral 3 8B8.9B · इंटेलिजन्स 5.5	8-बिट	9.5 GB	39–69	57–101
Nemotron 3 Nano 4B3.97B · इंटेलिजन्स 4.8	8-बिट	4.2 GB	88–156	129–229
DeepSeek V4 Flash 0731284B · 13B सक्रिय	4-बिट	160 GB	50–90	74–132
MiniMax M2.7230B · 10B सक्रिय	4-बिट	129 GB	66–117	96–171
Ornith 1.5 122B122B · 10B सक्रिय	8-बिट	130 GB	35–62	51–91
Nemotron 3 Super 120B A12B120B · 12B सक्रिय	8-बिट	128 GB	29–51	42–75
GLM-4.5 Air106B · 12B सक्रिय	8-बिट	113 GB	29–51	42–75
Llama 3.3 70B Instruct70B	4-बिट	39.4 GB	5–9	14–24
Qwen3 Coder 30B A3B Instruct30.5B · 3.3B सक्रिय	8-बिट	32.4 GB	105–187	154–274
GLM-4.7 Flash30B · 3B सक्रिय	8-बिट	31.9 GB	115–205	169–300
Qwen3.6 27B27B	8-बिट	28.7 GB	13–23	19–33
Gemma 4 26B A4B25.2B · 3.8B सक्रिय	8-बिट	26.8 GB	92–164	135–240
Devstral Small 2 (24B)24B	8-बिट	25.5 GB	14–26	21–38
Magistral Small 1.2 (2509)24B	8-बिट	25.5 GB	14–26	21–38
Mistral Small 3.2 (24B)24B	8-बिट	25.5 GB	14–26	21–38
LFM2.5 24B A2B24B · 2B सक्रिय	8-बिट	25.5 GB	176–312	257–457
Phi-4 Reasoning Vision 15B15B	8-बिट	15.9 GB	23–41	34–60
Phi-4 (14B)14B	8-बिट	14.9 GB	25–44	36–64
Gemma 4 12B Unified12B	8-बिट	12.7 GB	29–52	43–76
Qwen3 8B8.2B	8-बिट	8.7 GB	42–75	62–110
Llama 3.1 8B Instruct8B	8-बिट	8.5 GB	43–77	64–113
Gemma 4 E2B5.1B	8-बिट	5.4 GB	154–273	225–400
Qwen3.5 4B4B	8-बिट	4.3 GB	86–152	126–223
Phi-4 mini instruct3.8B	8-बिट	4 GB	92–164	135–240
Llama 3.2 3B Instruct3.21B	8-बिट	3.4 GB	108–193	159–282
SmolLM3 3B3B	8-बिट	3.2 GB	115–205	169–300
LFM2.5 2.6B2.69B	8-बिट	2.9 GB	127–226	186–331
Qwen3.5 2B2B	8-बिट	2.1 GB	176–312	257–457
Llama 3.2 1B Instruct1.23B	8-बिट	1.3 GB	284–504	415–738
Qwen3.5 0.8B0.8B	8-बिट	0.9 GB	410–728	600–1067
Qwen3 0.6B0.6B	8-बिट	0.6 GB	614–1092	900–1600
DeepSeek V4.1 Flash 1017552B · 16B सक्रिय · इंटेलिजन्स 45.1	2-बिट कमी गुणवत्ता	173 GB	74–131	108–192
GLM-5.3 Flash320B · 18B सक्रिय · इंटेलिजन्स 41.8	3-बिट कमी गुणवत्ता	140 GB	47–83	68–122
Beam 1.0501B · 23B सक्रिय · इंटेलिजन्स 30.3	2-बिट कमी गुणवत्ता	157 GB	51–91	75–133
MiniMax M3428B · 23B सक्रिय · इंटेलिजन्स 29.2	2-बिट कमी गुणवत्ता	134 GB	51–91	75–133
Nemotron 3 Ultra 550B A55B550B · 55B सक्रिय · इंटेलिजन्स 22.9	2-बिट कमी गुणवत्ता	172 GB	21–38	31–56
Qwen3.5 397B A17B397B · 17B सक्रिय · इंटेलिजन्स 18.4	3-बिट कमी गुणवत्ता	174 GB	50–89	73–130
Llama 4 Maverick 17B-128E Instruct400B · 17B सक्रिय · इंटेलिजन्स 9.3	3-बिट कमी गुणवत्ता	175 GB	50–89	73–130

चालतात, पण हळू 2

बसतात, पण सेकंदाला 10 टोकनपेक्षा कमी: बॅच कामासाठी ठीक, चॅटसाठी हळू.

मॉडेल	आवृत्ती	मेमरी	M3 Ultra	M5 Ultra
Mistral Medium 3.5 (128B)128B · इंटेलिजन्स 14.2	8-बिट	136 GB	3–5	4–7
Devstral 2 (123B)123B	8-बिट	131 GB	3–5	4–7

जेमतेम बसतात 1

जवळजवळ सगळी मेमरी लागते: GPU मेमरीची मर्यादा वाढवा आणि कॉन्टेक्स्ट लहान ठेवा.

मॉडेल	आवृत्ती	मेमरी	M3 Ultra	M5 Ultra
Mistral Large 3 (675B)675B · 41B सक्रिय	2-बिट कमी गुणवत्ता	211 GB	29–51	42–75

खूप मोठी 9

256 GB पेक्षा जास्त मेमरी लागते, अगदी 2 बिटलाही.

प्रश्न

256 GB असलेल्या Mac साठी सर्वोत्तम LLM कोणते?: ज्या मॉडेलचा Intelligence Index प्रकाशित आहे, त्यांपैकी 256 GB मध्ये चांगल्या चालणाऱ्यांमध्ये Qwen3.8 Flash Next चा स्कोअर सर्वात जास्त आहे (6-बिट). चांगले चालणारे सर्वात मोठे मॉडेल MiMo V2.6 Flash आहे. कोडसाठी: Qwen3 Coder Next.
Mac वर लोकल AI साठी 256 GB पुरेशी आहे का?: इथल्या 73 ओपन मॉडेलपैकी 54 त्यात 4 बिट किंवा त्याहून चांगल्या प्रिसिजनला चांगली चालतात. डिफॉल्टनुसार macOS GPU ला त्यापैकी सुमारे 192 GB वापरू देते; मॉडेल आणि त्याचा कॉन्टेक्स्ट त्यातच बसायला हवा.
256 GB Mac gpt-oss-20b चालवू शकतो का?: हो, नेटिव्ह 4.25-बिट, M3 Ultra वर सेकंदाला सुमारे 194–345 टोकन आणि M5 Ultra वर 284–505.

इतर आकार: 8 GB · 16 GB · 18 GB · 24 GB · 32 GB · 36 GB · 48 GB · 64 GB · 96 GB · 128 GB · 192 GB · 256 GB · 512 GB

ही मॉडेल MLX Harness (मोफत, ओपन सोर्स) ने किंवा Terminal मध्ये Apple च्या mlx-lm ने चालवा: टप्प्याटप्प्याने.

हिशोब कसा केला

मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.