প্রতিটি প্রিসিশনে মেমরি
| ভার্সন | ওয়েট | কনটেক্সটসহ | সবচেয়ে ছোট Mac |
|---|---|---|---|
| নেটিভ 4.25-bit | 13.8 GB | 15.3 GB | 24 GB |
| 3-bit কম মান | 9.2 GB | 10.7 GB | 16 GB |
| 2-bit কম মান | 6.6 GB | 8.1 GB | 16 GB |
প্রতিটি Apple চিপে
প্রতিটি চিপের যে সবচেয়ে ছোট মেমরি সাইজ gpt-oss-20b চালায়, তাতে ধরে এমন সেরা ভার্সন, আর লেখার আনুমানিক গতি।
| চিপ | লাগে | ভার্সন | টোকেন/সেকেন্ড |
|---|---|---|---|
| M6 | 24 GB | নেটিভ 4.25-bit ভালো চলে | 40–72 |
| M5 Ultra | 96 GB | নেটিভ 4.25-bit ভালো চলে | 284–505 |
| M5 Max | 36 GB | নেটিভ 4.25-bit ভালো চলে | 109–194 |
| M5 Pro | 24 GB | নেটিভ 4.25-bit ভালো চলে | 73–129 |
| M5 | 24 GB | নেটিভ 4.25-bit ভালো চলে | 36–64 |
| M4 Max | 36 GB | নেটিভ 4.25-bit ভালো চলে | 97–173 |
| M4 Pro | 24 GB | নেটিভ 4.25-bit ভালো চলে | 65–115 |
| M4 | 24 GB | নেটিভ 4.25-bit ভালো চলে | 28–51 |
| M3 Ultra | 96 GB | নেটিভ 4.25-bit ভালো চলে | 194–345 |
| M3 Max | 36 GB | নেটিভ 4.25-bit ভালো চলে | 71–126 |
| M3 Pro | 36 GB | নেটিভ 4.25-bit ভালো চলে | 36–63 |
| M3 | 24 GB | নেটিভ 4.25-bit ভালো চলে | 24–42 |
| M2 Ultra | 64 GB | নেটিভ 4.25-bit ভালো চলে | 189–337 |
| M2 Max | 32 GB | নেটিভ 4.25-bit ভালো চলে | 95–168 |
| M2 Pro | 32 GB | নেটিভ 4.25-bit ভালো চলে | 47–84 |
| M2 | 24 GB | নেটিভ 4.25-bit ভালো চলে | 24–42 |
| M1 Ultra | 64 GB | নেটিভ 4.25-bit ভালো চলে | 189–337 |
| M1 Max | 32 GB | নেটিভ 4.25-bit ভালো চলে | 95–168 |
| M1 Pro | 32 GB | নেটিভ 4.25-bit ভালো চলে | 47–84 |
| M1 | 16 GB | 3-bit ভালো চলে | 19–34 |
কীভাবে চালাবেন
- সহজ উপায়: MLX Harness ডাউনলোড করুন, এটি বিনামূল্যে ও ওপেন সোর্স। gpt-oss-20b খুঁজুন, আপনার Mac-এ ধরে এমন ভার্সন ডাউনলোড করুন, আর চ্যাট করুন। এটি OpenAI-compatible API দিয়ে মডেলটি আপনার অন্য অ্যাপকেও দেয়।MLX Harness ডাউনলোড করুনবিনামূল্যে · Apple Silicon · macOS 14.5 বা নতুন
- Terminal-এ Apple-এর MLX দিয়ে:
pip install mlx-lmmlx_lm.chat --model mlx-community/gpt-oss-20b-MXFP4-Q8বিল্ড: Hugging Face-এ mlx-community/gpt-oss-20b-MXFP4-Q8। অন্য প্রিসিশনগুলো তার পাশেই আছে।
ধাপে ধাপে: Mac-এ LLM ডাউনলোড করে চালান · MLX Harness কীভাবে ব্যবহার করবেন · MLX বনাম Ollama বনাম llama.cpp
gpt-oss-20b সম্পর্কে
| নির্মাতা | OpenAI |
|---|---|
| প্যারামিটার | মোট 21B · সক্রিয় 3.6B (mixture of experts) |
| কনটেক্সট | 128K টোকেন |
| লাইসেন্স | Apache-2.0 |
| প্রকাশ | 2025-08 |
| ইনপুট | টেক্সট |
| ইন্টেলিজেন্স | Artificial Analysis Intelligence Index-এ 9 |
| ওয়েট | openai/gpt-oss-20b |
প্রশ্ন
- gpt-oss-20b-এর কত মেমরি লাগে?
- নেটিভ 4.25-bit-এ প্রায় 13.8 GB ওয়েট, সঙ্গে কনটেক্সটের জায়গা: সব মিলিয়ে 15.3 GB। Mac-এ এর মানে 24 GB বা তার বেশি ইউনিফায়েড মেমরি, কারণ ডিফল্টভাবে macOS GPU-কে তার প্রায় 75% ব্যবহার করতে দেয়।
- Mac-এ gpt-oss-20b কত দ্রুত চলে?
- লেখার গতি নির্ভর করে মেমরি ব্যান্ডউইথের ওপর। এখানে এর জন্য সবচেয়ে দ্রুত Mac হলো 96 GB-এর M5 Ultra, সেকেন্ডে প্রায় 284–505 টোকেন (নেটিভ 4.25-bit)। যে সবচেয়ে ছোট Mac এটি চালায়, 24 GB-এর M5 Pro, সেটি প্রায় 73–129 পর্যন্ত পৌঁছায়।
- gpt-oss-20b তার সাইজের তুলনায় দ্রুত চলে কেন?
- এটি একটি mixture-of-experts মডেল: মেমরিতে 21B প্যারামিটার রাখে, কিন্তু প্রতি টোকেনে পড়ে শুধু 3.6B, তাই এটি অনেক ছোট মডেলের গতিতে লেখে।
একই ধরনের মডেল
আপনার মডেল কার্ড বা README-এর জন্য
gpt-oss-20b ভালোভাবে চালায় এমন সবচেয়ে ছোট Mac দেখায় আর এখানে লিংক করে।
[](https://mlx.app/run/gpt-oss-20b)হিসাব কীভাবে করা হয়েছে
মেমরি: মডেলের প্যারামিটার প্রতি ওয়েটে 8, 6, 4, 3 বা 2 bit-এ, সঙ্গে MLX-এর গ্রুপ স্কেল (প্রতি ওয়েটে আধা bit), অথবা তার নেটিভ ফরম্যাট, আর তার ওপর কনটেক্সটের জায়গা। ডিফল্টভাবে macOS GPU-কে ইউনিফায়েড মেমরির প্রায় 75% ব্যবহার করতে দেয়। গতি: মেমরি ব্যান্ডউইথকে প্রতি টোকেনে পড়া বাইট দিয়ে ভাগ করলে একটি কথোপকথনের সর্বোচ্চ সীমা পাওয়া যায়; llama.cpp-এর পাবলিক Apple Silicon বেঞ্চমার্কে আসল রান এর প্রায় 45% থেকে 80% পর্যন্ত পৌঁছায়, আর সেই রেঞ্জটাই দেখানো হয়েছে। এগুলো অনুমান, মাপা ফল নয়: MLX Bench-এ আপনার নিজের Mac মাপুন। মডেলের তথ্য প্রতিটি অফিশিয়াল মডেল কার্ড থেকে, চিপের তথ্য Apple-এর Tech Specs থেকে। যাচাই করা হয়েছে 2026-10-19। mlx.app/compare-এর একই ডেটা।