लॉग इनवॉलेट तयार करा

लोकल AI साठी M1 Ultra असलेला Mac Studio.

M1 Ultra 800 GB/s ने मेमरी वाचतो, त्यावरून तो किती वेगाने लिहितो ते ठरते. कोणती मॉडेल बसतील ते मेमरी ठरवते, आणि ती नंतर वाढवता येत नाही, म्हणून आकार इथेच निवडा.

64 GB39 मॉडेल चांगली चालतातNemotron 3.5 Bolt 74B A9B · 71–125 tok/s128 GB47 मॉडेल चांगली चालतातQwen3.5 122B A10B · 64–114 tok/s

मेमरी आकारानुसार

मेमरीचांगली चालतातचांगले चालणारे सर्वात मोठेgpt-oss-20b
64 GB800 GB/s39Nemotron 3.5 Bolt 74B A9B189–337 tok/s
128 GB800 GB/s47Qwen3.5 122B A10B189–337 tok/s

Mac मॉडेल: Mac Studio (2022). प्रत्येक Mac मॉडेलसोबत प्रत्येक मेमरी आकार मिळत नाही; कोणत्या मॉडेलसोबत काय मिळते ते Apple च्या Tech Specs मध्ये दिलेले आहे.

प्रश्न

M1 Ultra असलेला Mac Studio लोकल LLM साठी चांगला आहे का?
128 GB सह तो 73 पैकी 47 ओपन मॉडेल चांगली चालवतो, Qwen3.5 122B A10B पर्यंत, आणि gpt-oss-20b सह सेकंदाला सुमारे 189–337 टोकन लिहितो. M1 Ultra 800 GB/s ने मेमरी वाचतो, त्यावरून तो किती वेगाने लिहितो ते ठरते.
AI साठी M1 Ultra असलेल्या Mac Studio मध्ये किती मेमरी असावी?
64 GB सह तो 39 ओपन मॉडेल चांगली चालवतो; 128 GB सह 47, Qwen3.5 122B A10B पर्यंत. कोणती मॉडेल बसतील ते मेमरी ठरवते, आणि ती नंतर वाढवता येत नाही.

इतर Mac

इतर चिप असलेले Mac Studio:

समोरासमोर:

लोकल AI साठी M1 Ultra · लोकल LLM साठी सर्वोत्तम Mac · प्रत्येक Mac

हिशोब कसा केला

मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.

Mac Studio M1 Ultra वर कोणती LLM चालतात: मेमरीनुसार