PewDiePie har byggt ett självhostat AI-system kallat ChatOS på en lokal, multi‑GPU‑rack för att köra stora öppna modeller utan molntjänster. Det är ett coolt rätt imponerande AI-projekt eller mini‑lab av svensken Felix Kjellberg (PewDiePie).
ChatOS är ett egenbyggt webbgränssnitt där PewDiePie hostar öppna LLM:er lokalt för integritet, kontroll och låg latens i stället för att förlita sig på moln‑API:er. Plattformen binder ihop flera komponenter så att modellerna kan söka, hämta kontext och prata, vilket gör systemet användbart i vardagliga uppgifter.
Hårdvaran
Riggen använder tio GPU:er via PCIe‑bifurcation: en mix av 2× RTX 4000 Ada och 8× moddade RTX 4090‑kort, vilket ger rejäl VRAM‑kapacitet för stora modeller. Sammanlagt når systemet omkring 256 GB VRAM i vissa beskrivningar vilket underlättar körning av 70B+‑modeller lokalt.
En utmaning med att köra ett 10-GPU-system hemma är den enorma watt kraven och strömförbrukningen. PewDiePie nämner i videon att han har sänkt GPU:ns klockfrekvens något.
PewDiePie har även låtit riggen bidra till medicinsk forskning via Folding@home, vilket är ett smart sätt att nyttja kapacitet mellan körningar.
