كيفية ضبط وتشغيل LLMs محليًا باستخدام Ollama في عام 2026

لماذا تشغيل LLM محليًا

يحل الاستدلال المحلي المشكلات التي لا تستطيع واجهات برمجة التطبيقات المستضافة حلها من الناحية الهيكلية: البيانات لا تترك جهازك أبدًا، ولا توجد فاتورة لكل رمز مميز على نطاق واسع، وإصدار النموذج الذي اختبرته هو إصدار النموذج الذي ستشغله الشهر المقبل، بغض النظر عن أي جدول زمني للإيقاف الأولي. تتمثل المقايضة في الجودة والراحة – فالنماذج ذات الوزن المفتوح في نطاق 7B-70B جيدة، لكنها تتبع بشكل عام النماذج المستضافة الحدودية في مهام التفكير المعقدة.

تثبيت أولاما

يقوم Ollama بشحن أدوات التثبيت الأصلية لأنظمة التشغيل macOS وWindows وLinux، ويغلف llama.cpp تحت الغطاء للحصول على استدلال كمي فعال.

# macOS / Linux
curl -fsSL https://ollama.com/install.sh | sh

# Windows: download the installer from ollama.com/download

# Verify install
ollama --version

حجم الأجهزة والنموذج

يحدد حجم النموذج في المعلمات تقريبًا متطلبات الذاكرة بمجرد تحديدها كميًا. كقاعدة عامة لتكميم 4 بت (الافتراضي لـ Ollama لمعظم عمليات السحب):

• نماذج 3B-4B– يعمل بسلاسة على ذاكرة الوصول العشوائي (RAM) سعة 8 جيجابايت، بما في ذلك معظم أجهزة الكمبيوتر المحمولة الحديثة التي لا تحتوي على وحدة معالجة رسومات منفصلة.
• نماذج 7B-8B– تحتاج إلى 8-12 جيجابايت تقريبًا؛ مكان رائع ومريح للدردشة ذات الأغراض العامة والمساعدة في البرمجة.
• نماذج 13B-14B– تحتاج إلى 16-24 جيجابايت للحصول على أداء سلس.
• نماذج فئة 70B— تحتاج إلى 48 جيجابايت+ من ذاكرة الفيديو (VRAM) للحصول على سرعة جيدة، أو سيتم تشغيلها ببطء مقسمة عبر ذاكرة الوصول العشوائي (RAM) للنظام ووحدة المعالجة المركزية (CPU).

تعمل أجهزة Apple Silicon Macs على زيادة وزنها هنا لأن الذاكرة الموحدة تتيح لوحدة معالجة الرسومات الوصول إلى مجموعة ذاكرة الوصول العشوائي للنظام بالكامل، مما يجعلها قادرة بشكل مدهش على طرازات 13B-34B.

نموذجك المحلي الأول

# Pull and run a general-purpose model
ollama run llama3.1:8b

# Pull a coding-focused model
ollama run qwen2.5-coder:7b

# List installed models
ollama list

# Remove a model to free disk space
ollama rm llama3.1:8b

الأولrunيقوم الأمر بتنزيل النموذج (عدة غيغابايت) ويضعك في موجه الدردشة التفاعلية. يتم تخزين النماذج مؤقتًا محليًا، لذلك تبدأ عمليات التشغيل اللاحقة على الفور.

تخصيص السلوك باستخدام ملف نموذجي

يتيح لك ملف Modelfile وضع طبقة موجه نظام مخصص ودرجة الحرارة والمعلمات الأخرى أعلى النموذج الأساسي دون لمس أوزانه – وهو مشابه من الناحية المفاهيمية لتكوين Dockerfile for LLM.

FROM qwen2.5-coder:7b

PARAMETER temperature 0.2
PARAMETER num_ctx 8192

SYSTEM """
You are a senior backend engineer. Answer concisely with working code.
Prefer Python and explain tradeoffs only when explicitly asked.
"""

ollama create backend-helper -f ./Modelfile
ollama run backend-helper

استدعاء أولاما من بايثون

يكشف Ollama عن واجهة REST API محلية على المنفذ 11434، مع وجود عميل Python رسمي فوقها – وهو أمر مفيد لتوصيل نموذج محلي إلى برنامج نصي أو خدمة خلفية.

pip install ollama

import ollama

response = ollama.chat(model="qwen2.5-coder:7b", messages=[
    {"role": "user", "content": "Write a Python function that flattens a nested list."}
])
print(response["message"]["content"])

# Streaming
for chunk in ollama.chat(model="llama3.1:8b", messages=[
    {"role": "user", "content": "Explain TCP vs UDP in two sentences."}
], stream=True):
    print(chunk["message"]["content"], end="", flush=True)

الضبط الدقيق باستخدام LoRA

Ollama في حد ذاته عبارة عن وقت تشغيل استدلالي، وليس أداة تدريب – من أجل الضبط الدقيق، يمكنك تدريب محول LoRA باستخدام مكتبة مثل Hugging Face’speftأو Unsloth، ثم قم إما بدمج المحول في الأوزان الأساسية أو تحويله إلى GGUF وتحميله من خلال ملف ModelfileADAPTERالتوجيه.

pip install unsloth peft transformers datasets trl

from unsloth import FastLanguageModel
from trl import SFTTrainer
from transformers import TrainingArguments
from datasets import load_dataset

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/llama-3.1-8b-bnb-4bit",
    max_seq_length=2048,
    load_in_4bit=True,
)

model = FastLanguageModel.get_peft_model(
    model,
    r=16,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
    lora_alpha=16,
    lora_dropout=0,
)

dataset = load_dataset("json", data_files="my_training_data.jsonl", split="train")

trainer = SFTTrainer(
    model=model,
    tokenizer=tokenizer,
    train_dataset=dataset,
    dataset_text_field="text",
    max_seq_length=2048,
    args=TrainingArguments(
        per_device_train_batch_size=2,
        gradient_accumulation_steps=4,
        num_train_epochs=3,
        learning_rate=2e-4,
        output_dir="outputs",
    ),
)
trainer.train()
model.save_pretrained_gguf("my-finetuned-model", tokenizer, quantization_method="q4_k_m")

إن نهج QLoRA 4 بت (تحميل النموذج الأساسي في 4 بت، وتدريب مصفوفات محول LoRA الصغيرة فقط) هو ما يجعل ذلك ممكنًا على وحدة معالجة رسومات استهلاكية واحدة مزودة بذاكرة VRAM سعة 12-24 جيجابايت لنماذج 7B-8B. بمجرد تصديره إلى GGUF، أشر إلى ملف ModelfileFROMفي الملف المحلي وتحميله في Ollama مثل أي نموذج آخر.

عندما يتفوق المحلي على واجهة برمجة التطبيقات المستضافة

تعتبر النماذج المحلية أكثر منطقية بالنسبة للمهام الضيقة والمتكررة حيث قمت بضبط نموذج أصغر أو مطالبتك بمطابقة جودة النموذج المستضاف في تلك المهمة الواحدة – التصنيف، أو الاستخراج المنظم، أو الأدوات الداخلية مع البيانات الحساسة، أو عمليات النشر دون اتصال/الحافة. بالنسبة للتفكير المفتوح، أو الاستخدام المعقد لأداة متعددة الخطوات، أو أي شيء تؤثر فيه جودة الإخراج بشكل مباشر على المنتج، فإن النموذج المستضاف الحدودي مثل Claude لا يزال يفوز؛ انظرالبرنامج التعليمي لكلود APIإذا كنت تزن هذا الطريق لنفس المشروع.