প্রতিটি প্রিসিশনে মেমরি
| ভার্সন | ওয়েট | কনটেক্সটসহ | সবচেয়ে ছোট Mac |
|---|---|---|---|
| 8-bit | 42.3 GB | 45.7 GB | 64 GB |
| 6-bit | 32.3 GB | 34.9 GB | 48 GB |
| 4-bit | 22.4 GB | 24.2 GB | 36 GB |
| 3-bit কম মান | 17.4 GB | 18.9 GB | 32 GB |
| 2-bit কম মান | 12.4 GB | 13.9 GB | 24 GB |
প্রতিটি Apple চিপে
প্রতিটি চিপের যে সবচেয়ে ছোট মেমরি সাইজ Recursive Flint চালায়, তাতে ধরে এমন সেরা ভার্সন, আর লেখার আনুমানিক গতি।
| চিপ | লাগে | ভার্সন | টোকেন/সেকেন্ড |
|---|---|---|---|
| M6 | 24 GB | 2-bit ভালো চলে | 96–170 |
| M5 Ultra | 96 GB | 8-bit ভালো চলে | 200–356 |
| M5 Max | 36 GB | 4-bit ভালো চলে | 148–263 |
| M5 Pro | 48 GB | 6-bit ভালো চলে | 69–123 |
| M5 | 24 GB | 2-bit ভালো চলে | 86–153 |
| M4 Max | 36 GB | 4-bit ভালো চলে | 132–234 |
| M4 Pro | 48 GB | 6-bit ভালো চলে | 61–109 |
| M4 | 24 GB | 2-bit ভালো চলে | 68–120 |
| M3 Ultra | 96 GB | 8-bit ভালো চলে | 137–243 |
| M3 Max | 36 GB | 4-bit ভালো চলে | 96–171 |
| M3 Pro | 36 GB | 4-bit ভালো চলে | 48–86 |
| M3 | 24 GB | 2-bit ভালো চলে | 56–100 |
| M2 Ultra | 64 GB | 8-bit ভালো চলে | 133–237 |
| M2 Max | 64 GB | 8-bit ভালো চলে | 67–119 |
| M2 Pro | 32 GB | 3-bit ভালো চলে | 82–145 |
| M2 | 24 GB | 2-bit ভালো চলে | 56–100 |
| M1 Ultra | 64 GB | 8-bit ভালো চলে | 133–237 |
| M1 Max | 64 GB | 8-bit ভালো চলে | 67–119 |
| M1 Pro | 32 GB | 3-bit ভালো চলে | 82–145 |
| M1 | 16 GB | 2-bit কোনোমতে | 38–68 |
অন্যদের মাপা
Recursive Flint-এর যে জেনারেশন গতি অন্যরা নিজেদের Mac-এ মেপে প্রকাশ্যে পোস্ট করেছেন। এগুলো তৃতীয় পক্ষের মাপ, আমাদের নয়, এবং ওপরের অনুমানও নয়।
| Mac | রানটাইম | প্রিসিশন | ডিকোড tok/s | উৎস |
|---|---|---|---|---|
| Mac Studio M3 Ultra | Ollama (MLX engine) | INT4 (QAT) | 107 | Alec Kloss @aleckloss |
| Mac Studio M3 Ultra | mlx-lm (PR #1998) | INT4 (QAT) | 104.5 | Alec Kloss @aleckloss |
| Mac Studio M3 Ultra | mlx-vlm | BF16 | 51.31K কনটেক্সটে | Prince Canuma @Prince_Canuma |
| Mac Studio M3 Ultra | mlx-vlm | BF16 | 33128K কনটেক্সটে | Prince Canuma @Prince_Canuma |
| Mac mini M5 Pro 64 GB | Ollama | 4-bit | 115 | Pratik Gandhi @pratikg |
| Mac mini M5 Pro 64 GB | Ollama | 4-bit | 8720K কনটেক্সটে | Pratik Gandhi @pratikg |
ফলাফল রানটাইম ও সেটিংস অনুযায়ী বদলায়: সংস্করণ, প্রিসিশন, কনটেক্সটের দৈর্ঘ্য, প্রম্পট এবং রিজনিং চালু বা বন্ধ, সবই গতি বদলায়।
কীভাবে চালাবেন
- Terminal-এ Rec দিয়ে, যা নির্মাতার নিজস্ব ইঞ্জিন:
curl -fsSL https://raw.githubusercontent.com/recursive-oss/rec/main/install.sh | bashrec launch piযা লাগবে: M4 Pro, M5 Pro or M5 Max · at least 48 GB unified memory · about 30 GB free disk · Node.js 22 and npm (for pi)বিল্ড: Hugging Face-এ RecursiveSI/flint-int4। অন্য প্রিসিশনগুলো তার পাশেই আছে।
ধাপে ধাপে: Mac-এ LLM ডাউনলোড করে চালান · MLX Harness কীভাবে ব্যবহার করবেন · MLX বনাম Ollama বনাম llama.cpp
Recursive Flint সম্পর্কে
| নির্মাতা | Recursive |
|---|---|
| প্যারামিটার | মোট 39.8B · সক্রিয় 2.5B (mixture of experts) |
| কনটেক্সট | 256K টোকেন |
| লাইসেন্স | Apache-2.0 |
| প্রকাশ | 2026-10 |
| ইনপুট | টেক্সট |
| ওয়েট | RecursiveSI/flint |
প্রশ্ন
- Recursive Flint-এর কত মেমরি লাগে?
- 4-bit-এ প্রায় 22.4 GB ওয়েট, সঙ্গে কনটেক্সটের জায়গা: সব মিলিয়ে 24.2 GB। Mac-এ এর মানে 36 GB বা তার বেশি ইউনিফায়েড মেমরি, কারণ ডিফল্টভাবে macOS GPU-কে তার প্রায় 75% ব্যবহার করতে দেয়। Recursive-এর নিজস্ব ইঞ্জিন Rec-এর জন্য অন্তত 48 GB ইউনিফায়েড মেমরিসহ একটি M4 Pro, M5 Pro, বা M5 Max লাগে (নির্মাতার শর্ত)।
- Mac-এ Recursive Flint কত দ্রুত চলে?
- লেখার গতি নির্ভর করে মেমরি ব্যান্ডউইথের ওপর। এখানে এর জন্য সবচেয়ে দ্রুত Mac হলো 96 GB-এর M5 Ultra, সেকেন্ডে প্রায় 200–356 টোকেন (8-bit)। যে সবচেয়ে ছোট Mac এটি চালায়, 36 GB-এর M5 Max, সেটি প্রায় 148–263 পর্যন্ত পৌঁছায়।
- Recursive Flint তার সাইজের তুলনায় দ্রুত চলে কেন?
- এটি একটি mixture-of-experts মডেল: মেমরিতে 39.8B প্যারামিটার রাখে, কিন্তু প্রতি টোকেনে পড়ে শুধু 2.5B, তাই এটি অনেক ছোট মডেলের গতিতে লেখে।
একই ধরনের মডেল
আপনার মডেল কার্ড বা README-এর জন্য
Recursive Flint ভালোভাবে চালায় এমন সবচেয়ে ছোট Mac দেখায় আর এখানে লিংক করে।
[](https://mlx.app/run/flint)হিসাব কীভাবে করা হয়েছে
মেমরি: মডেলের প্যারামিটার প্রতি ওয়েটে 8, 6, 4, 3 বা 2 bit-এ, সঙ্গে MLX-এর গ্রুপ স্কেল (প্রতি ওয়েটে আধা bit), অথবা তার নেটিভ ফরম্যাট, আর তার ওপর কনটেক্সটের জায়গা। ডিফল্টভাবে macOS GPU-কে ইউনিফায়েড মেমরির প্রায় 75% ব্যবহার করতে দেয়। গতি: মেমরি ব্যান্ডউইথকে প্রতি টোকেনে পড়া বাইট দিয়ে ভাগ করলে একটি কথোপকথনের সর্বোচ্চ সীমা পাওয়া যায়; llama.cpp-এর পাবলিক Apple Silicon বেঞ্চমার্কে আসল রান এর প্রায় 45% থেকে 80% পর্যন্ত পৌঁছায়, আর সেই রেঞ্জটাই দেখানো হয়েছে। এগুলো অনুমান, মাপা ফল নয়: MLX Bench-এ আপনার নিজের Mac মাপুন। মডেলের তথ্য প্রতিটি অফিশিয়াল মডেল কার্ড থেকে, চিপের তথ্য Apple-এর Tech Specs থেকে। যাচাই করা হয়েছে 2026-10-19। mlx.app/compare-এর একই ডেটা।
ওপেন ডেটা: mlx.app/data (JSON, CSV)