Strata kann als Desktop-Anwendung laufen, oder als daemon.

1. Strata als Desktop-App

Läuft unkompliziert, man sucht ein Modell aus, 84 GB werden heruntergeladen. Dann kommt man auf eine CLI und kann fragen stellen oder kommandos geben, wie z.B.

connect pi

oder auch install pi. Strata fragt öfters anch, arbeiet aber direkt auf dem Computer und installiert.

2. Strata als daemon

2.1. Starten:

strata.cmd launch --model-path "Pfad zum Modell"  --context 128k --port 18500 --access lan --restart --no-tui --yes

Wenn alles funktioniert wird in der powershell das Modell geladen, zunächst mit einem Ladeschirm und dann später eine Statusanzeige mit Speed, GPU-Load etc.

2.2. Testen

Im Browser sollte dann unter der Adresse:

http://127.0.0.1:18500/

strata.cmd launch --restart

2.3. Api-Key

strata.cmd launch --show-key

Hat mich in ein Setup auf der kommando-Zeile gebracht, welches dann bei Step hängen geblieben ist.

http://localhost:18500/

liefert Strata die HTML-Web-Oberfläche (Web UI) aus. Der Root-Endpunkt erfordert keine Authentifizierung, da er nur die Web-GUI lädt.

3. Mit pi verbinden

Über cli der Dekstop-App

connedt pi