Wer heute ein großes Sprachmodell nutzen will, mietet meist Rechenzeit in der Cloud. Jede Anfrage verlässt dabei den eigenen Rechner. VolksAI dreht die Richtung um: Du gibst ein lokales Modell für andere frei und nutzt im Gegenzug deren Rechenzeit. Die Idee steht zur Abstimmung, gebaut ist sie nicht.

Zielbild

In den Einstellungen gibst du ein Modell aus Ollama, llama.cpp oder LM Studio mit einem Klick frei. Ein Vermittlungsserver – zum Beispiel bei Cloudflare – bringt Anfragen und freie Hosts zusammen. Die Rechnung für die Rechenzeit läuft auf dem Host. Der Vermittler speichert den Prompt nicht und kann ihn nicht lesen.

Drei Rollen treffen aufeinander. Der Nutzer schickt eine Anfrage und wählt die höchste Vertrauensstufe, die dafür erlaubt ist. Der Host stellt ein Modell und Rechenzeit bereit und sieht den Prompt, weil das Modell ihn verarbeiten muss. Der Vermittler kennt nur das Nötigste zum Verbinden: dass eine Anfrage einer bestimmten Stufe wartet und welcher Host frei ist – nicht den Inhalt.

Warum

Viele Rechner haben eine GPU, die den größten Teil des Tages leer steht. Gleichzeitig fehlt anderen die passende Hardware, um ein größeres Modell lokal auszuprobieren. Ein Pool verbindet beides, ohne dass jemand zwingend einen Cloud-Anbieter bezahlen muss.

Der zweite Grund ist Vertraulichkeit. Nicht jeder Text darf irgendwohin. Deshalb arbeitet der Pool mit Vertrauensstufen. Eine Anfrage landet nur auf einer Stufe, die der Nutzer ausdrücklich freigegeben hat. Sensible Inhalte – etwa Zugangsdaten, private Dokumente oder als vertraulich markierter Space-Kontext – gehen nie in den offenen Pool.

Wie es aussehen könnte

Das Konzept kennt vier Vertrauensstufen:

  • Eigene Geräte. Nur Maschinen desselben Kontos.
  • Freunde und Team. Beitritt per Einladung, kein offener Zugang.
  • Verifizierte Hosts. LastBrowser hat den Host geprüft; wie diese Prüfung genau aussieht, ist noch offen.
  • Public Pool. Jeder freigegebene Host dieser Stufe.

Vor dem Senden steht in der Oberfläche in Klartext: der Host sieht den Prompt, der Vermittler nicht. So bleibt die Grenze sichtbar, statt in den Einstellungen zu verschwinden.

Für Schulen, Universitäten und Firmen gibt es private Organisations-Pools. Rechner der Organisation stellen Modelle bereit, und der Pool ist über eine eigene API-Adresse erreichbar. Diese Adresse tritt für die Mitglieder an die Stelle des öffentlichen Vermittlers. Damit bleiben die Prompts im eigenen Netz, solange der Pool geschlossen bleibt. Admins legen per Einladung fest, wer beitritt, wer Rechenzeit beisteuert und wer Anfragen stellt. Ein solcher Pool kann geschlossen bleiben oder sich föderiert an den großen Pool anhängen, wobei die Regeln der Organisation bestimmen, was überhaupt hinausgehen darf.

Die Nutzlast ist zwischen Nutzer und Host Ende-zu-Ende verschlüsselt; der Vermittler leitet nur weiter und sieht den Klartext nicht. Wer Rechenzeit beisteuert, bekommt Credits. Wer keine GPU hat, kann mit CPU-Arbeit zahlen, etwa Tests, Benchmarks oder Embeddings. Alternativ gibt es ein Gratis-Kontingent mit Warteschlange. Credits sind ein Buchhaltungswert in LastBrowser und kein Anspruch auf Auszahlung.

Damit der Pool nicht zu einer Sammlung leerer Antworten wird, sollen Stichproben prüfen, ob ein Host das genannte Modell liefert. Rate-Limits begrenzen die Anfragen pro Host. Wiederholt schlechte Stichproben kosten die Stufe, bis jemand nachsieht.

Offene Fragen

  • Wie wird ein „verifizierter Host“ konkret geprüft, und wer entscheidet das?
  • Wie legt man Grenzwerte für Rate-Limits und Stichproben fest, ohne den Betrieb zu ersticken?
  • Wie verhindert die Credit-Buchhaltung Missbrauch, ohne echte Personen zu verfolgen?
  • Wer haftet im föderierten Fall, wenn ein fremder Job durch einen Organisations-Pool läuft?
  • Soll der Pool später im Sidekick-Auto-Router auftauchen, und wie stellt der Router sicher, dass nur erlaubte Stufen genutzt werden?