Arbeit mit LLMs

Umgang mit LLMs und lokales Tooling.

Über

Was ist ein LLM?

Wast ist ein LLM Chat?

Was ist ein LLM Agent?

Was ist ein LLM Router?

Wo werden diese Dinge gehostet?

LLMs werden als Dienst von Service-Providern wie Infomaniak angeboten. Die Liste von Providern ist sehr umfassend: https://opencode.ai/docs/providers/

Den LLM Chat hosten wir selber.

Ein LLM Agent kann lokal auf der Kommandozeile ausgeführt werden.

Der LLM Router wir extern gehostet.

Nach welchen Kriterien wählen wir die LLM-Dienstleister aus?

• LLM: Verfügbar als Open Weights und im besten Fall Open Source.
• LLM Provider: Provider ist in der Schweiz oder in Europa. Chat-Protokolle werden nicht als Trainingsdaten verwendet.
• LLM Chat: Ist eine Open Source Software und kann selber gehostet werden.
• LLM Agent: Ist eine Open Source Software und kann lokal ausgeführt werden.
• LLM Router: Verbindet europäische LLM Provider. Transparentes Pricing.

LLM

Wie unterscheiden sich LLMs voneinander?

Was ist ein "thinking" LLM?

LLM Chat

Wie kann ich mit einem LLM chatten?

Du kannst entweder über eine Weboberfläche LLM Chat Mint System oder über die Kommandozeile kommunizieren.

Wie richte ich die Kommandozeile ein?

Du kannst das llm cli mit den Mint System Dotfiles installieren. Beim einrichten wird automatisch eine Verbindung mit den Infomaniak AI Tools gemacht.

LLM Router

Wie wähle ich ein passendes Modell aus?

Siehe Cortecs.

LLM Agent

Lokales Setup

Wie kann ich OpenCode lokal installieren?

Mit welchem Provider soll ich OpenCode verbinden?

Build and Plan

Was ist der Plan und Build Modus?

AGENTS.md

Was ist das Agents.md?

Prompt

Wie erstelle ich einen Prompt?