Ubuntu + Ollama + Open WebUI + Aider Tam Yerel AI Kurulumu

**ozkandonmez** · Dün, 10:39

RTX PRO 4000 24 GB + 1 TB RAM + Ubuntu + Ollama + Open WebUI + Aider Tam Yerel AI Kurulumu

Konu Özeti
Bu konuda, aşağıdaki donanıma sahip bir makinede tamamen yerel çalışan, programlama ağırlıklı, güçlü ve pratik bir yapay zeka sistemi nasıl kurulur adım adım anlatıyorum.

Donanım:

GPU: NVIDIA RTX PRO 4000 Blackwell 24 GB
RAM: 1 TB
Disk: 1 TB SSD + 2 TB HDD
Amaç: Programlama, Linux/DevOps, repo analizi, yerel sohbet, kod yazdırma

Kullanılan yazılım mimarisi:

Ubuntu 24.04 LTS
NVIDIA sürücüsü host sistemde
Ollama host sistemde
Open WebUI Docker içinde
Aider terminalde

1) Neden bu kurulum?

Bu donanımda en mantıklı kurulum, tek GPU üzerinden yerel büyük dil modellerini verimli kullanmaktır. 1 TB RAM çok güçlü bir avantajdır ama günlük hızda asıl belirleyici unsur 24 GB VRAM’dir. Bu yüzden “çok dev ama aşırı yavaş” model yerine “orta-büyük ama verimli” modeller tercih edilmelidir.

Bu sistemde en mantıklı model dizilimi:

qwen3.5:9b → hızlı günlük kullanım
qwen3.5:27b → güçlü genel kullanım
devstral:24b → ajan tarzı repo ve çok dosyalı işler
qwen3-coder:30b → kodlama ve teknik üretim için ana model

2) Disk planı

Başlangıçta en sorunsuz yöntem:

SSD: Ubuntu + Docker + aktif Ollama modelleri
HDD: yedek, veri, arşiv, eski modeller

İlk kurulumda modelleri SSD’de bırakmak daha güvenlidir. Sistem oturduktan sonra HDD’ye taşınabilir. HDD’ye taşırken servis yolu değiştirilir ama model dosyaları gerçekten taşınmazsa “model not found” hatası alınır.

3) Ubuntu kurulumundan sonra ilk temel hazırlık

Önce sistemi güncelle:

Code:

sudo apt update
sudo apt upgrade -y

Python, pipx, curl, git gibi temel araçları kur:

Code:

sudo apt install -y python3-full python3-pip python-is-python3 pipx curl git
pipx ensurepath
exec "$SHELL" -l

4) NVIDIA sürücüsü kurulumu

Uygun sürücüyü kur:

Code:

sudo ubuntu-drivers list --gpgpu
sudo ubuntu-drivers install --gpgpu
sudo reboot

Sistem açılınca doğrula:

Code:

nvidia-smi

GPU burada görünüyorsa sürücü tarafı hazırdır.

5) Ollama kurulumu

Code:

curl -fsSL https://ollama.com/install.sh | sh
sudo systemctl enable ollama --now

Kontrol et:

Code:

systemctl status ollama
curl http://127.0.0.1:11434/api/tags

Henüz model yoksa liste boş döner, bu normaldir.

6) Model kurulumları

Aşağıdaki modeller bu sistem için güzel bir başlangıç setidir:

Code:

ollama pull qwen3.5:9b
ollama pull qwen3.5:27b
ollama pull devstral:24b
ollama pull qwen3-coder:30b

Modelleri doğrula:

Code:

ollama list

Beklenen mantık:

qwen3.5:9b → hızlı cevap
qwen3.5:27b → daha güçlü ama daha ağır
devstral:24b → ajan/repo işleri
qwen3-coder:30b → kodlama

Bir modeli terminalden test etmek için:

Code:

ollama run qwen3.5:9b

Sonra şunu yaz:

Code:

Sadece "tamam" yaz.

Cevap geliyorsa Ollama düzgün çalışıyor demektir.

7) Docker kurulumu

Code:

sudo apt install -y ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Docker’ı test et:

Code:

sudo docker run hello-world

8) Open WebUI kurulumu

En pratik kurulum:

Code:

sudo docker run -d \
  --network=host \
  -v open-webui:/app/backend/data \
  -e OLLAMA_BASE_URL=http://127.0.0.1:11434 \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

Arayüz:

Code:

http://127.0.0.1:8080

Çalışıyor mu kontrol etmek için:

Code:

sudo docker ps
sudo docker logs --tail=100 open-webui

9) Aider kurulumu

Ubuntu 24.04’te sistem Python’una doğrudan pip ile kurulum yaparken externally-managed-environment hatası alınabilir. En temiz çözüm pipx kullanmaktır.

Code:

pipx install aider-chat

Kontrol et:

Code:

aider --version

Eğer bulunmazsa:

Code:

export PATH="$HOME/.local/bin:$PATH"
exec "$SHELL" -l
aider --version

Ollama bağlantısı için:

Code:

export OLLAMA_API_BASE=http://127.0.0.1:11434
mkdir -p ~/projeler/test
cd ~/projeler/test
aider --model ollama_chat/qwen3-coder:30b

Daha hafif alternatif:

Code:

aider --model ollama_chat/devstral:24b

10) Open WebUI içinde yapılacak en iyi ayarlar

A) Günlük kullanım için
Sağ üst profil simgesi → Settings

Burada:

Default Model = qwen3.5:9b

Bu ayar günlük kullanımda ilk cevabı hızlandırır.

B) Arka plan görevlerini hafifletmek için
Profil simgesi → Admin Settings → Interface

Burada:

Task Model varsa küçük/hızlı model seç
Mevcut kurulumda qwen3.5:9b kullanılabilir

C) Teknik işlerde daha direkt profil oluşturmak için
Sol menü → Workspace → Models → Create a Model

Eğer burada model görünmüyorsa önce:

Profil simgesi → Admin Settings
Connections
Ollama
Manage / anahtar simgesi
Model IDs (Filter) alanı doluysa temizle
Save
Sayfayı yenile

Yeni profil örneği:

Name: Teknik Direkt
Base Model: qwen3-coder:30b
Temperature: 0.1 veya 0.2

Örnek System Prompt:

Code:

You are a direct technical assistant.
For benign programming, Linux, DevOps, and debugging tasks:
- answer briefly, concretely, and step-by-step
- do not add moralizing, motivational text, or generic safety lectures
- ask for clarification only when strictly necessary
- prefer commands, file paths, config snippets, and exact fixes
If a request is illegal, dangerous, or would materially enable harm, refuse briefly and offer a safe alternative.

Not:
Bu yaklaşım güvenlik korumalarını kaldırmak değildir. Ama modeli zararsız teknik işlerde daha kısa, daha doğrudan ve daha az geveze hale getirir.

11) Bilgisayar kapanıp açılınca sistem otomatik başlayacak mı?

Evet, doğru ayarlandıysa otomatik başlar.

Kontrol et:

Code:

systemctl is-enabled ollama
systemctl is-active ollama

systemctl is-enabled docker
systemctl is-active docker

sudo docker inspect -f '{{.HostConfig.RestartPolicy.Name}}' open-webui

Beklenen:

ollama → enabled / active
docker → enabled / active
open-webui → always

Eğer Open WebUI için restart policy eksikse:

Code:

sudo docker update --restart always open-webui

12) 2 GB ikinci ekran kartı takılmalı mı?

Kısa cevap: Hayır.

Sebep:

2 GB VRAM LLM tarafında anlamlı katkı sağlamaz
Çoklu GPU ortamını gereksiz karmaşık hale getirebilir
Ana yük yine 24 GB kartta kalacaktır

Bu ikinci kart ancak görüntü çıkışı gibi özel bir ihtiyaç varsa düşünülür. AI performansı için gerçek katkı beklenmemelidir.

13) Yaşanan gerçek sorunlar ve çözümleri

Sorun 1: Python kurulu değil / python komutu yok
Belirti:

Code:

python: command not found

Çözüm:

Code:

sudo apt install -y python3-full python3-pip python-is-python3

Sorun 2: externally-managed-environment
Belirti:

Code:

error: externally-managed-environment

Sebep:
Ubuntu sistem Python’una doğrudan pip kurulumuna izin vermez.

Çözüm:

Code:

sudo apt install -y pipx
pipx ensurepath
exec "$SHELL" -l
pipx install aider-chat

Sorun 3: aider-install / aider command not found
Belirti:

Code:

aider-install: command not found
aider: command not found

Çözüm:

Code:

export PATH="$HOME/.local/bin:$PATH"
exec "$SHELL" -l
pipx install aider-chat
aider --version

Sorun 4: /projeler/senin-kodun bulunamadı
Belirti:

Code:

No such file or directory

Sebep:
Bu örnek placeholder dizindir.

Çözüm:

Code:

mkdir -p ~/projeler/test
cd ~/projeler/test

Sorun 5: model not found
Belirti:

Code:

{"error":"model 'qwen3-coder:30b' not found"}

Sebep:

Model henüz pull edilmemiş olabilir
Aider’da verilen model adı ile Ollama’daki gerçek model adı farklı olabilir
Ollama yanlış model klasörüne bakıyor olabilir

Kontrol:

Code:

ollama list

Gerekirse:

Code:

ollama pull qwen3-coder:30b

Sorun 6: HDD’ye taşıdıktan sonra modeller kayboldu
Belirti:

Code:

ollama list

çıktısı boş dönüyor.

Sebep:
Servis yeni klasöre bakıyor ama model dosyaları oraya taşınmamış.

Yanlış örnek:

Code:

[Service]
Environment="OLLAMA_MODELS=/ai-store/ollama-models"

Bu ayar verilip dosyalar taşınmazsa model bulunamaz.

Çözüm 1: Geçici olarak override kaldır

Code:

sudo rm -f /etc/systemd/system/ollama.service.d/override.conf
sudo systemctl daemon-reload
sudo systemctl restart ollama

Çözüm 2: Gerçek taşıma yap

Code:

sudo mkdir -p /ai-store/ollama-models
sudo rsync -aH --info=progress2 /usr/share/ollama/.ollama/models/ /ai-store/ollama-models/
sudo chown -R ollama:ollama /ai-store/ollama-models

Sonra:

Code:

sudo systemctl edit ollama

İçerik:

Code:

[Service]
Environment="OLLAMA_MODELS=/ai-store/ollama-models"

Ve:

Code:

sudo systemctl daemon-reload
sudo systemctl restart ollama
ollama list

Sorun 7: docker logs komutunda permission denied
Belirti:

Code:

permission denied while trying to connect to the docker API at unix:///var/run/docker.sock

Çözüm:

Code:

sudo groupadd docker 2>/dev/null || true
sudo usermod -aG docker $USER
newgrp docker
docker ps

Anlık alternatif:

Code:

sudo docker logs --tail=100 open-webui

Sorun 8: Open WebUI’de “merhaba” çok uzun düşünüyor
Sebep:

İlk yüklemede büyük model açılıyor olabilir
Yanlış model seçilmiş olabilir
Task model / ana model aynı anda sistemi yoruyor olabilir

Çözüm:

İlk testte qwen3.5:9b seç
Kısa prompt ile dene
Sonra ağır modellere geç

Örnek test:

Code:

Sadece "çalışıyorum" yaz.

Sorun 9: Workspace → Models içinde model görünmüyor
Sebep:
Bu alan her zaman ham Ollama modellerini listelemek zorunda değildir; bazen sadece özel profiller görünür.
Ayrıca Connections tarafındaki Model IDs (Filter) alanı doluysa modeller saklanabilir.

Çözüm:

Admin Settings → Connections → Ollama → Manage
Model IDs (Filter) alanını boşalt
Save
Sayfayı yenile

14) Tavsiye edilen günlük kullanım düzeni

Open WebUI:

Varsayılan model → qwen3.5:9b
Güçlü genel kullanım → qwen3.5:27b
Kodlama → qwen3-coder:30b
Repo/ajan işleri → devstral:24b

Aider:

Ana model → qwen3-coder:30b
Alternatif → devstral:24b

Terminal testleri:

Code:

ollama run qwen3.5:9b
ollama run qwen3.5:27b
ollama run qwen3-coder:30b

15) Sonuç

Bu kurulumla:

Tamamen yerel çalışan AI sistemi kurulur
Web arayüzü üzerinden sohbet yapılır
Terminalden Aider ile kodlama yapılır
Makine yeniden başlatıldığında servisler otomatik kalkar
Kodlama, Linux/DevOps, sistem yönetimi ve proje geliştirme işleri için güçlü bir altyapı elde edilir

Bu donanım için en mantıklı başlangıç dizilimi:

WebUI varsayılan → qwen3.5:9b
Kodlama → qwen3-coder:30b
Repo ajan işleri → devstral:24b

Kısa not:
İlk kurulumda modelleri SSD’de tutup sistem stabil hale geldikten sonra HDD taşıması yapmak daha güvenlidir.