মেমরি সাইজ অনুযায়ী
| মেমরি | ভালো চলে | ভালো চলে এমন সবচেয়ে বড় | gpt-oss-20b |
|---|---|---|---|
| 8 GB100 GB/s | 16 | Granite 4.2 8B | খুব বড় |
| 16 GB100 GB/s | 17 | Qwen3 8B | 28–50 tok/s |
| 24 GB100 GB/s | 20 | Gemma 4 26B A4B | 24–42 tok/s |
Mac মডেল: MacBook Air (13-inch, M3, 2024), MacBook Air (15-inch, M3, 2024)। সব Mac মডেলে সব মেমরি সাইজ পাওয়া যায় না; কোনটির সঙ্গে কী আসে, তা Apple-এর Tech Specs-এ দেওয়া আছে।
প্রশ্ন
- লোকাল LLM-এর জন্য M3 চিপসহ MacBook Air কি ভালো?
- 24 GB-তে এটি 73টি ওপেন মডেলের মধ্যে 20টি ভালোভাবে চালায়, Gemma 4 26B A4B পর্যন্ত, আর gpt-oss-20b দিয়ে সেকেন্ডে প্রায় 24–42 টোকেন লেখে। M3 চিপ 100 GB/s গতিতে মেমরি পড়ে, যা ঠিক করে এটি কত দ্রুত লেখে।
- AI-এর জন্য M3 চিপসহ MacBook Air কেনার সময় কত মেমরি নেওয়া উচিত?
- 8 GB-তে এটি 16টি ওপেন মডেল ভালোভাবে চালায়; 24 GB-তে 20টি, Gemma 4 26B A4B পর্যন্ত। কোন মডেল ধরবে তা ঠিক করে মেমরি, আর পরে তা আপগ্রেড করা যায় না।
অন্য Mac
অন্য চিপসহ MacBook Air:
M3 চিপসহ অন্য Mac:
মুখোমুখি:
হিসাব কীভাবে করা হয়েছে
মেমরি: মডেলের প্যারামিটার প্রতি ওয়েটে 8, 6, 4, 3 বা 2 bit-এ, সঙ্গে MLX-এর গ্রুপ স্কেল (প্রতি ওয়েটে আধা bit), অথবা তার নেটিভ ফরম্যাট, আর তার ওপর কনটেক্সটের জায়গা। ডিফল্টভাবে macOS GPU-কে ইউনিফায়েড মেমরির প্রায় 75% ব্যবহার করতে দেয়। গতি: মেমরি ব্যান্ডউইথকে প্রতি টোকেনে পড়া বাইট দিয়ে ভাগ করলে একটি কথোপকথনের সর্বোচ্চ সীমা পাওয়া যায়; llama.cpp-এর পাবলিক Apple Silicon বেঞ্চমার্কে আসল রান এর প্রায় 45% থেকে 80% পর্যন্ত পৌঁছায়, আর সেই রেঞ্জটাই দেখানো হয়েছে। এগুলো অনুমান, মাপা ফল নয়: MLX Bench-এ আপনার নিজের Mac মাপুন। মডেলের তথ্য প্রতিটি অফিশিয়াল মডেল কার্ড থেকে, চিপের তথ্য Apple-এর Tech Specs থেকে। যাচাই করা হয়েছে 2026-10-19। mlx.app/compare-এর একই ডেটা।