লগ ইনওয়ালেট তৈরি করুন

Mac কি gpt-oss-120b চালাতে পারে?

হ্যাঁ, 96 GB বা তার বেশি ইউনিফায়েড মেমরি থাকলে। gpt-oss-120b-এ 117B প্যারামিটার আছে, যার মধ্যে প্রতি টোকেনে 5.1B সক্রিয় থাকে; এখানে দেখুন প্রতিটি প্রিসিশনে এর কত মেমরি লাগে আর প্রতিটি Apple চিপ এটি কত দ্রুত চালায়।

নেটিভ 4.25-bit-এ মেমরি70.5 GBওয়েট 65.3 GB + কনটেক্সট
সবচেয়ে ছোট Mac96 GBনেটিভ 4.25-bit · 23টি Mac কনফিগারেশন
সবচেয়ে দ্রুত Mac200–356টোকেন/সেকেন্ড · M5 Ultra 96 GB (আনুমানিক)

প্রতিটি প্রিসিশনে মেমরি

ভার্সনওয়েটকনটেক্সটসহসবচেয়ে ছোট Mac
নেটিভ 4.25-bit65.3 GB70.5 GB96 GB
3-bit কম মান51.2 GB55.3 GB96 GB
2-bit কম মান36.6 GB39.5 GB64 GB

প্রতিটি Apple চিপে

প্রতিটি চিপের যে সবচেয়ে ছোট মেমরি সাইজ gpt-oss-120b চালায়, তাতে ধরে এমন সেরা ভার্সন, আর লেখার আনুমানিক গতি।

চিপলাগেভার্সনটোকেন/সেকেন্ড
M6কোনো সাইজে ধরে নাখুব বড়–
M5 Ultra96 GBনেটিভ 4.25-bit ভালো চলে200–356
M5 Max128 GBনেটিভ 4.25-bit ভালো চলে102–182
M5 Pro64 GB2-bit ভালো চলে86–154
M5কোনো সাইজে ধরে নাখুব বড়–
M4 Max128 GBনেটিভ 4.25-bit ভালো চলে91–162
M4 Pro64 GB2-bit ভালো চলে77–137
M4কোনো সাইজে ধরে নাখুব বড়–
M3 Ultra96 GBনেটিভ 4.25-bit ভালো চলে137–243
M3 Max96 GBনেটিভ 4.25-bit ভালো চলে50–89
M3 Proকোনো সাইজে ধরে নাখুব বড়–
M3কোনো সাইজে ধরে নাখুব বড়–
M2 Ultra128 GBনেটিভ 4.25-bit ভালো চলে133–237
M2 Max96 GBনেটিভ 4.25-bit ভালো চলে67–119
M2 Proকোনো সাইজে ধরে নাখুব বড়–
M2কোনো সাইজে ধরে নাখুব বড়–
M1 Ultra128 GBনেটিভ 4.25-bit ভালো চলে133–237
M1 Max64 GB2-bit ভালো চলে113–200
M1 Proকোনো সাইজে ধরে নাখুব বড়–
M1কোনো সাইজে ধরে নাখুব বড়–

কীভাবে চালাবেন

  1. সহজ উপায়: MLX Harness ডাউনলোড করুন, এটি বিনামূল্যে ও ওপেন সোর্স। gpt-oss-120b খুঁজুন, আপনার Mac-এ ধরে এমন ভার্সন ডাউনলোড করুন, আর চ্যাট করুন। এটি OpenAI-compatible API দিয়ে মডেলটি আপনার অন্য অ্যাপকেও দেয়।MLX Harness ডাউনলোড করুনবিনামূল্যে · Apple Silicon · macOS 14.5 বা নতুন
  2. Terminal-এ Apple-এর MLX দিয়ে:pip install mlx-lmmlx_lm.chat --model mlx-community/gpt-oss-120b-MXFP4-Q8বিল্ড: Hugging Face-এ mlx-community/gpt-oss-120b-MXFP4-Q8। অন্য প্রিসিশনগুলো তার পাশেই আছে।

ধাপে ধাপে: Mac-এ LLM ডাউনলোড করে চালান · MLX Harness কীভাবে ব্যবহার করবেন · MLX বনাম Ollama বনাম llama.cpp

gpt-oss-120b সম্পর্কে

নির্মাতাOpenAI
প্যারামিটারমোট 117B · সক্রিয় 5.1B (mixture of experts)
কনটেক্সট128K টোকেন
লাইসেন্সApache-2.0
প্রকাশ2025-08
ইনপুটটেক্সট
ইন্টেলিজেন্সArtificial Analysis Intelligence Index-এ 11.6
ওয়েটopenai/gpt-oss-120b

গাইড: mlx.app-এ ধাপে ধাপে

প্রশ্ন

gpt-oss-120b-এর কত মেমরি লাগে?
নেটিভ 4.25-bit-এ প্রায় 65.3 GB ওয়েট, সঙ্গে কনটেক্সটের জায়গা: সব মিলিয়ে 70.5 GB। Mac-এ এর মানে 96 GB বা তার বেশি ইউনিফায়েড মেমরি, কারণ ডিফল্টভাবে macOS GPU-কে তার প্রায় 75% ব্যবহার করতে দেয়।
Mac-এ gpt-oss-120b কত দ্রুত চলে?
লেখার গতি নির্ভর করে মেমরি ব্যান্ডউইথের ওপর। এখানে এর জন্য সবচেয়ে দ্রুত Mac হলো 96 GB-এর M5 Ultra, সেকেন্ডে প্রায় 200–356 টোকেন (নেটিভ 4.25-bit)। যে সবচেয়ে ছোট Mac এটি চালায়, 96 GB-এর M5 Ultra, সেটি প্রায় 200–356 পর্যন্ত পৌঁছায়।
gpt-oss-120b তার সাইজের তুলনায় দ্রুত চলে কেন?
এটি একটি mixture-of-experts মডেল: মেমরিতে 117B প্যারামিটার রাখে, কিন্তু প্রতি টোকেনে পড়ে শুধু 5.1B, তাই এটি অনেক ছোট মডেলের গতিতে লেখে।

একই ধরনের মডেল

সব মডেল · সব Mac · আপনার Mac তুলনা করুন

আপনার মডেল কার্ড বা README-এর জন্য

Runs on a Mac: gpt-oss-120b gpt-oss-120b ভালোভাবে চালায় এমন সবচেয়ে ছোট Mac দেখায় আর এখানে লিংক করে।

[![Runs on a Mac](https://mlx.app/badge/run/gpt-oss-120b.svg)](https://mlx.app/run/gpt-oss-120b)

হিসাব কীভাবে করা হয়েছে

মেমরি: মডেলের প্যারামিটার প্রতি ওয়েটে 8, 6, 4, 3 বা 2 bit-এ, সঙ্গে MLX-এর গ্রুপ স্কেল (প্রতি ওয়েটে আধা bit), অথবা তার নেটিভ ফরম্যাট, আর তার ওপর কনটেক্সটের জায়গা। ডিফল্টভাবে macOS GPU-কে ইউনিফায়েড মেমরির প্রায় 75% ব্যবহার করতে দেয়। গতি: মেমরি ব্যান্ডউইথকে প্রতি টোকেনে পড়া বাইট দিয়ে ভাগ করলে একটি কথোপকথনের সর্বোচ্চ সীমা পাওয়া যায়; llama.cpp-এর পাবলিক Apple Silicon বেঞ্চমার্কে আসল রান এর প্রায় 45% থেকে 80% পর্যন্ত পৌঁছায়, আর সেই রেঞ্জটাই দেখানো হয়েছে। এগুলো অনুমান, মাপা ফল নয়: MLX Bench-এ আপনার নিজের Mac মাপুন। মডেলের তথ্য প্রতিটি অফিশিয়াল মডেল কার্ড থেকে, চিপের তথ্য Apple-এর Tech Specs থেকে। যাচাই করা হয়েছে 2026-10-19। mlx.app/compare-এর একই ডেটা।

Mac কি gpt-oss-120b চালাতে পারে? মেমরি ও গতি