1AI-এর জন্য যে স্পেকগুলো গুরুত্বপূর্ণ
| ইউনিফায়েড মেমরি | 32 GB |
|---|---|
| মেমরি ব্যান্ডউইথ | 200 GB/s |
| যে Mac-এ আছে | 14- and 16-inch MacBook Pro (2021) |
| এর জন্য ডেডিকেটেড সিট | Pro সিট: দিনে সর্বোচ্চ 80 MLX মাইন করে |
2কোন মডেলগুলো ধরে
প্রতি ওয়েটে 4 বিট হলে একটি মডেলের প্রতি বিলিয়ন প্যারামিটারে আধা গিগাবাইটের একটু বেশি লাগে, সঙ্গে তার কনটেক্সট আর macOS-এর জায়গা। 32 GB নিয়ে M1 Pro প্রায় 42 বিলিয়ন প্যারামিটার পর্যন্ত মডেল স্বচ্ছন্দে ধরে।
| 4-বিটে মডেল | যত মেমরি লাগে | M1 Pro-এ ধরে |
|---|---|---|
| 8B মডেল | 4.5 GB | হ্যাঁ |
| 14B মডেল | 7.9 GB | হ্যাঁ |
| 32B মডেল | 18 GB | হ্যাঁ |
| 70B মডেল | 39.4 GB | না |
| gpt-oss-120b, mixture-of-experts | 65 GB | না |
| Qwen3.5-397B-A17B, mixture-of-experts | 223.3 GB | না |
| DeepSeek-V4.1-Flash, mixture-of-experts | 316 GB | না |
3কত দ্রুত চলে
লেখা তৈরির গতি মেমরি ব্যান্ডউইথে সীমিত: প্রতিটি নতুন টোকেন মডেলের সক্রিয় ওয়েট একবার করে পড়ে। M1 Pro-এর 200 GB/s-কে প্রতি টোকেনে পড়া বাইট দিয়ে ভাগ করলে নিচের ঊর্ধ্বসীমা পাওয়া যায়। বাস্তবে সাধারণত এর প্রায় 45% থেকে 80% পর্যন্ত পৌঁছায় (llama.cpp বেঞ্চমার্ক)।
| 4-বিটে মডেল | প্রতি টোকেনে পড়া | এক চ্যাটের ঊর্ধ্বসীমা |
|---|---|---|
| 8B মডেল | 4.5 GB | সেকেন্ডে 44 টোকেন |
| 14B মডেল | 7.9 GB | সেকেন্ডে 25 টোকেন |
| 32B মডেল | 18 GB | সেকেন্ডে 11 টোকেন |
5অন্য চিপের সঙ্গে তুলনা করুন
6প্রশ্নোত্তর
- M1 Pro কি 70B মডেল চালাতে পারে?
- স্বচ্ছন্দে নয়। 4-বিটে 70B মডেলের প্রায় 40 GB লাগে, আর M1 Pro-এ সর্বোচ্চ 32 GB। প্রায় 42B প্যারামিটার পর্যন্ত মডেল ভালোভাবে ধরে।
- M1 Pro সেকেন্ডে কত টোকেন দেয়?
- 4-বিটে 8B মডেলের ঊর্ধ্বসীমা সেকেন্ডে প্রায় 44 টোকেন, আর বাস্তবে এর মোটামুটি অর্ধেক থেকে চার-পঞ্চমাংশ পর্যন্ত পৌঁছায়। বড় মডেল সেই অনুপাতে ধীর।
- M1 Pro কি AI-এর জন্য ভালো?
- লোকালি মডেল চালাতে মেমরি আর ব্যান্ডউইথই সবচেয়ে গুরুত্বপূর্ণ। M1 Pro-এ 200 GB/s গতির সর্বোচ্চ 32 GB মেমরি আছে, যা প্রায় 42 বিলিয়ন প্যারামিটার পর্যন্ত মডেলের জন্য যথেষ্ট। MLX Node দিয়ে MLX Network-এর জন্য AI-এর কাজ চালিয়ে এটি আয়ও করতে পারে।
তথ্যসূত্র
- Apple: M1 Pro and M1 Maxapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com