MLX Harness કેવી રીતે વાપરવું.

MLX Harness એ Appleના MLX ફ્રેમવર્કથી લેંગ્વેજ, વિઝન અને ઇમેજ મૉડલ તમારા પોતાના Mac પર ચલાવવા માટેની અમારી મફત Mac ઍપ છે. તે મફત ડાઉનલોડ કરી શકાય છે. તે પેજ દર પેજ શું કરે છે તે અહીં છે.

અપડેટ

ટૂંકમાં

  • MLX Harness તમારા Mac પર AI મૉડલ ચલાવે છે. તમે જાતે રિમોટ એન્ડપૉઇન્ટ ન જોડો ત્યાં સુધી પ્રૉમ્પ્ટ અને જવાબો Mac પર જ રહે છે.
  • તે JANGQ AIના vMLX પર બનેલી છે અને Apache 2.0 હેઠળ લાઇસન્સ થયેલી છે. harness.mlx.app કે mlx.app/download પરથી ડાઉનલોડ કરો.
  • ચાર પેજ: Chat & Images, Servers & API, Models અને Network, અને સાઇડબારના તળિયે Preferences.
  • ચાલતું દરેક મૉડલ localhost:8080 પરના લોકલ API પર OpenAI, Anthropic અને Ollama ફૉર્મેટમાં ઉપલબ્ધ હોય છે, તેથી ઍપ અને કોડિંગ એજન્ટ તે વાપરી શકે છે.

1MLX Harness ઇન્સ્ટોલ કરો

MLX Harness harness.mlx.app પરથી ડાઉનલોડ કરો. તે સાઇન થયેલી અને Apple દ્વારા નોટરાઇઝ્ડ છે, તેમાં MLX Node સમાયેલું છે, અને નવું વર્ઝન આવે ત્યારે ઍપમાં જ જણાવે છે.

Apple Silicon અને macOS 14.5 કે પછીનું વર્ઝન ધરાવતું Mac જોઈશે. ઇન્ફરન્સ એન્જિન ઍપમાં જ આવે છે, તેથી બીજું કંઈ ઇન્સ્ટોલ કરવાનું નથી: ડાઉનલોડ કરો, MLX Harnessને Applicationsમાં ખસેડો અને ખોલો.

MLX Harness એ JANGQ AIના vMLXનું ફેરફાર કરેલું વર્ઝન છે, Apache License 2.0 હેઠળ રિલીઝ થયેલું. નીચેનું એન્જિન vMLXનું જ છે, કોઈ ફેરફાર વગર; MLX Harness તેની આસપાસની ઍપ બદલે છે અને Network પેજ ઉમેરે છે.

2મૉડલ પસંદ કરો અને ડાઉનલોડ કરો

મૉડલ Hugging Face પરથી આવે છે, એમાંના મોટા ભાગના mlx-community સંસ્થાના MLX ફૉર્મેટમાં. ડાઉનલોડ કરતાં પહેલાં શું બંધબેસે છે તે તપાસો: તમારા Macની મેમરી કયાં મૉડલ સમાવી શકે અને દરેક આશરે કેટલી ઝડપે લખે છે તે Compare બતાવે છે.

  1. Models ખોલો અને Find & download પસંદ કરો. શોધો, અને ડાઉનલોડ, ટ્રેન્ડિંગ, લાઇક, તાજેતરમાં અપડેટ થયેલાં કે મૉડલના કદ પ્રમાણે ગોઠવો; શોધ MLX મૉડલ બતાવે છે.
  2. મૉડલ પર ક્લિક કરીને તેનું README વાંચો, પછી ડાઉનલોડ કરો. ડાઉનલોડ બૅકગ્રાઉન્ડમાં ચાલે છે, અને Downloads તેમની પ્રગતિ બતાવે છે.
  3. Llama જેવાં ગેટેડ (gated) મૉડલ માટે, પહેલાં HF Token: ફીલ્ડમાં તમારો Hugging Face ટોકન ઉમેરો, અને huggingface.co પર મૉડલનું લાઇસન્સ સ્વીકારો.
  4. Library & tools તમારા Mac પરનાં મૉડલ બતાવે છે. Inspect Model મૉડલનો મેટાડેટા બતાવે છે, Diagnose Model હેલ્થ ચેક ચલાવે છે, અને Convert Model Hugging Face મૉડલને ક્વૉન્ટાઇઝ્ડ MLX મૉડલમાં ફેરવે છે: Balanced (4-bit), Quality (8-bit) કે Compact (3-bit).

Download to: હેઠળ બીજી જગ્યા પસંદ ન કરો તો ડાઉનલોડ તમારા Hugging Face કૅશ ફોલ્ડરમાં જાય છે. એ કૅશમાં, ~/.mlxstudio/modelsમાં અને Directories હેઠળ તમે ઉમેરેલાં ફોલ્ડરમાં પહેલેથી રહેલાં મૉડલ પણ MLX Harness શોધી લે છે.

3ચૅટ અને ઇમેજ

ચૅટ અને રીઝનિંગ

  1. Chat & Images ખોલો, ચૅટ ટૂલબારના મૉડલ મેનૂમાં મૉડલ પસંદ કરો, અથવા Add local model. તે ઓળખાયેલાં ડિફૉલ્ટ સેટિંગ્સ સાથે શરૂ થાય છે; ઍડવાન્સ્ડ વિકલ્પો Servers & APIમાં રહે છે.
  2. મેસેજ ટાઇપ કરો. રીઝનિંગ મૉડલ પોતાનું વિચારવું અલગ બૉક્સમાં બતાવે છે. ચૅટ સેટિંગ્સમાંનું Enable Thinking તેને Auto, On કે Off કરે છે, અને સપોર્ટ કરતાં મૉડલ માટે Reasoning Effort તેની ઊંડાઈ નક્કી કરે છે.
  3. વિઝન મૉડલ ઇમેજ સ્વીકારે છે: ફાઇલ ચૅટ પર ખેંચીને મૂકો કે અટૅચ બટન વાપરો. વીડિયો, ઑડિયો અને ટેક્સ્ટ ફાઇલો તેમને સ્વીકારતાં મૉડલ સાથે કામ કરે છે.
  4. ચૅટ સાઇડબારમાં સેવ થાય છે અને શોધી શકાય છે. સેટિંગ્સ દરેક મૉડલ માટે અલગ સેવ થાય છે.

બીજે ક્યાંક રહેલા મૉડલ સાથે પણ ચૅટ કરી શકો: Connect remote endpoint કોઈ પણ OpenAI-સુસંગત API ઍડ્રેસ સ્વીકારે છે. ફક્ત ત્યારે જ તમારા પ્રૉમ્પ્ટ Macની બહાર જાય છે.

ઇમેજ બનાવો અને એડિટ કરો

Chat & Imagesમાં Image પસંદ કરો. ઇમેજ મૉડલ mfluxથી ચાલે છે, અને ઇમેજ સર્વર તમારા Mac પરના ફોલ્ડરમાંથી મૉડલ લોડ કરે છે: Find mflux models Modelsમાં ઇમેજ શોધ ખોલે છે, પછી Load selected folder તેને શરૂ કરે છે.

ઉપયોગમૉડલ ફૅમિલી
બનાવવુંFlux Schnell, Flux Dev, Z-Image Turbo, FLUX.2 Klein 4B અને 9B, Qwen Image, Qwen Image 2.1, FIBO, Ideogram 4
એડિટ કરવુંQwen Image Edit, Qwen Image 2.1, Flux Kontext, FLUX.2 Klein Edit, Flux Fill (તમે દોરેલા માસ્ક સાથે ઇનપેઇન્ટિંગ)
અપસ્કેલSeedVR2 3B
MLX Harness લોડ કરી શકે તેવી ફૅમિલી. મેમરી મૉડલ અને પ્રિસિઝન પ્રમાણે બદલાય છે; 16 GB Mac માટે ઍપ 4-બિટમાં Flux Schnell કે Klein 4B, અને એડિટિંગ મૉડલ માટે 8-બિટ કે પૂરી પ્રિસિઝન સૂચવે છે.

Flux Dev જેવાં કેટલાંક ઇમેજ મૉડલ Hugging Face પર ગેટેડ છે, અને ડાઉનલોડ થાય તે પહેલાં તેમને તમારો ટોકન અને સ્વીકારેલું લાઇસન્સ જોઈએ.

4એજન્ટ અને ટૂલ

MLX Harness મૉડલને તમારા Mac પર કામ કરવા દઈ શકે છે. ચૅટ સેટિંગ્સમાં Enable Built-in Coding Tools ચાલુ કરો અને એક Working Directory પસંદ કરો: દરેક ફાઇલ ઑપરેશન અને કમાન્ડ તેની અંદર જ ચાલે છે. પછી ટૂલની શ્રેણીઓ ચાલુ કે બંધ કરો:

શ્રેણીબિલ્ટ-ઇન ટૂલ
File I/Oread_file, write_file, edit_file, patch_file, batch_edit, insert_text, replace_lines, apply_regex, copy_file, move_file, delete_file, create_directory, list_directory, read_image, read_video
Searchsearch_files, find_files, file_info, get_tree, diff_files, get_diagnostics
Shellrun_command, spawn_process, get_process_output, run_applescript
Web Searchddg_search: મફત, પહેલાં DuckDuckGo અને પછી Mojeek અજમાવે છે
Brave Searchweb_search, Brave Search API કી સાથે
URL Fetchfetch_url
Gitgit: status, diff, log, blame, commit, branch, stash
Utilitiescount_tokens, clipboard_read, clipboard_write, get_current_datetime; ask_user હંમેશાં ચાલુ
MLX Harnessની બિલ્ટ-ઇન ટૂલ યાદીમાંથી. MCP સર્વર આની બાજુમાં પોતાનાં ટૂલ ઉમેરે છે.

Max Tool Iterations એક મેસેજ ટૂલ કૉલના કેટલા રાઉન્ડ લઈ શકે તેની મર્યાદા નક્કી કરે છે (ડિફૉલ્ટ 10). Shell અને ફાઇલ ટૂલ સાચી ફાઇલો પર કામ કરે છે, તેથી વર્કિંગ ડિરેક્ટરી તમારા હોમ ફોલ્ડર તરફ નહીં પણ કોઈ પ્રોજેક્ટ તરફ રાખો, અને જેના પર તે સોંપવા જેટલો ભરોસો હોય તે જ મૉડલ વાપરો.

5બીજી ઍપમાંથી વાપરો: લોકલ API

તમે શરૂ કરો તે દરેક મૉડલ તમારા Mac પર સર્વ થાય છે. http://localhost:8080 પરનો API Gateway દરેક વિનંતીને તેમાંના નામ પ્રમાણે સાચા મૉડલ પાસે મોકલે છે, અને થોભાવેલું મૉડલ માગવામાં આવે તો તેને શરૂ કરે છે. દરેક મૉડલનો 8000થી આગળ પોતાનો પોર્ટ પણ હોય છે. ડિફૉલ્ટ રીતે ફક્ત તમારું Mac તેમના સુધી પહોંચી શકે છે; LAN ચાલુ કરો તો તે તમારા નેટવર્ક માટે ખૂલે છે.

ફૉર્મેટએન્ડપૉઇન્ટ
OpenAI/v1/chat/completions, /v1/responses, /v1/completions, /v1/models, /v1/embeddings
Anthropic/v1/messages
Ollama/api/chat, /api/generate, /api/tags, /api/show, /api/embed
ઇમેજ/v1/images/generations, /v1/images/edits
ઑડિયો/v1/audio/transcriptions (Whisper), /v1/audio/speech (Kokoro)
Servers & API → API તમે ચલાવતાં મૉડલનો દરેક એન્ડપૉઇન્ટ curl, Python અને JavaScriptનાં કૉપી-પેસ્ટ ઉદાહરણો સાથે બતાવે છે.

APIની પાછળ, એન્જિને પહેલેથી વાંચેલું કૅશ થાય છે. Continuous Batching ચાલુ હોય ત્યારે Prefix Cacheને કારણે લાંબી ચૅટ કે કોડિંગ એજન્ટની વારંવાર આવતી સૂચનાઓ આગલા ટર્નમાં કામ ટાળે છે, KV Cache Quantization એ કૅશ નાનો કરે છે, અને Disk Cache (Persistent) તેને SSD પર રાખે છે. આ દરેક મૉડલનાં સર્વર સેટિંગ્સમાં છે.

API પેજ બતાવે તે મૉડલ નામ સાથે, OpenAI ફૉર્મેટમાં એક વિનંતી:

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "YOUR-MODEL",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

base_url http://localhost:8080/v1 પર સેટ કરો તો કોઈ પણ OpenAI SDK ચાલે છે; સેશન પર તમે કી સેટ ન કરી હોય તો કી કોઈ પણ લખાણ હોઈ શકે. કોડિંગ એજન્ટ માટે, Coding Tool Integration Claude Code, Codex CLI, OpenCode, OpenClaw અને Hermes Agentને Auto-Configureથી સેટ કરે છે, અથવા Manual Setup બતાવે છે. Claude Code માટે તેનો અર્થ આને ~/.claude/settings.jsonમાં ભેળવવું:

{
  "env": {
    "ANTHROPIC_BASE_URL": "http://localhost:8080",
    "ANTHROPIC_MODEL": "YOUR-MODEL",
    "ANTHROPIC_API_KEY": "mlxstudio"
  }
}

6Network પેજ, અને MLX Node

Network mlx.app પરથી MLX Network લાઇવ બતાવે છે: ઑનલાઇન અને કામ કરતાં Mac, સેકન્ડ દીઠ ટોકન, આજના AI ટોકન અને દેશો. તે MLX Node આ Mac પર ઇન્સ્ટોલ છે અને ચાલે છે કે નહીં તે તપાસે છે, અને તેને ખોલે છે કે ડાઉનલોડની લિંક આપે છે. Your wallet હેઠળ તમારા વૉલેટનું નામ ટાઇપ કરો અને Show દબાવો, એટલે તેનું માઇન કરેલું MLX વધતું દેખાશે; નામ ફક્ત આ Mac પર રહે છે.

MLX Harness પોતે ક્યારેય માઇન કરતી નથી. તે તમારા માટે મૉડલ ચલાવે છે. MLX Node એ અલગ મેનૂ બાર ઍપ છે, જે તમારા Macનો નવરો સમય MLX Networkને આપીને MLX ટોકન કમાય છે: મફત સીટ પર દિવસના 1 MLX સુધી, 30 દિવસ લૉક. તમે બંને વાપરો તો તે એક જ મેમરી અને GPU વહેંચે છે, તેથી MLX Nodeની Memory MLX may use મર્યાદા અને મૅન્યુઅલ Start અને Stop તેને તમારા કામમાં નડવા દેતાં નથી. MLX ટોકન મૂલ્ય ગુમાવી શકે છે; જોખમો વાંચો.

7પ્રશ્નો

શું MLX Harness મફત છે?
હા. તે મફત છે અને જેના પર તે બની છે તે vMLX પ્રોજેક્ટની જેમ Apache License 2.0 હેઠળ લાઇસન્સ થયેલી છે.
MLX Harness ક્યારે ડાઉનલોડ કરી શકાશે?
હમણાં જ. તે harness.mlx.app અને mlx.app/download પર મફત ડાઉનલોડ કરી શકાય છે, macOS 14.5 કે પછીનું વર્ઝન ધરાવતા Apple Silicon Mac માટે. સોર્સ કોડ GitHub પર છે: github.com/MLXapp/studio.
MLX Harness કયાં Mac પર ચાલે છે?
Apple Silicon (M1 કે પછીનું) અને macOS 14.5 કે પછીનું વર્ઝન ધરાવતાં Mac પર. કયાં મૉડલ બંધબેસે તે તમારા Macની મેમરી નક્કી કરે છે; mlx.app પરનું Compare તે બતાવે છે.
શું MLX Harness મારા પ્રૉમ્પ્ટ ક્યાંય મોકલે છે?
ના. લોકલ મૉડલ તમારા Mac પર ચાલે છે, અને તમે LAN ચાલુ ન કરો ત્યાં સુધી API ફક્ત તમારા Mac પર સાંભળે છે. તમે રિમોટ એન્ડપૉઇન્ટ જોડો તો જ પ્રૉમ્પ્ટ Macની બહાર જાય છે.
શું MLX Harness MLX ટોકન કમાય છે?
ના. MLX Harness તમારા માટે મૉડલ ચલાવે છે અને ફક્ત સાર્વજનિક નેટવર્ક આંકડા વાંચે છે. AI કામ માટે MLX ટોકન કમાતી ઍપ MLX Node છે.

સ્રોત

  1. vMLXgithub.com
  2. Hugging Facehuggingface.co
  3. mlx-communityhuggingface.co
  4. mfluxgithub.com

આગળ વાંચો

MLX Harness કેવી રીતે વાપરવું: Mac પર AI મૉડલ લોકલી ચલાવો | MLX