KI im Asset Manager
Der Einsatz von KI innerhalb des Asset Managers ist optional und kann auf zwei verschiedene Arten geschehen. Die nachfolgende Tabelle beschreibt die Unterschiede sowie mögliche Vor- und Nachteile:
ChatGPT oder lokale KI? Vor- und Nachteile im Überblick
| Kriterium | ChatGPT | Lokale KI |
|---|---|---|
| Betrieb | Läuft als externer Cloud-Dienst | Läuft auf eigener Hardware oder eigenem Server |
| Einrichtung | Sofort nutzbar, kaum technischer Aufwand | Installation, Konfiguration und Wartung notwendig |
| Hardwarebedarf | Keine eigene leistungsstarke Hardware nötig | Je nach Modell starke CPU und GPU mit viel RAM und VRAM |
| Datenschutz | Daten werden an einen externen Dienst übertragen | Daten bleiben im eigenen System |
| Kontrolle über Daten | Keine Kontrolle über Verarbeitung und Umgebung | Volle Kontrolle über Speicherung, Zugriff und Verarbeitung |
| Antwortqualität | Meist sehr hoch, besonders bei komplexen Aufgaben | Abhängig vom Modell und von der Hardware |
| Geschwindigkeit | In der Regel schnell und stabil | Abhängig von CPU, GPU, RAM und Modellgröße |
| Kosten | Laufende Kosten durch Abo oder API-Nutzung | Hardware-, Strom- und Wartungskosten |
| Skalierung | Einfach, da Infrastruktur vom Anbieter betrieben wird | Muss selbst geplant und betrieben werden |
| Verfügbarkeit | Abhängig von Internet und Anbieter. Dienst kann ggf. auch abgeschaltet werden | Kann auch ohne Internet funktionieren |
| Wartung | Updates und Betrieb übernimmt der Anbieter | Updates, Modellpflege und Fehlerbehebung selbst nötig |
| Modellauswahl | Vom Anbieter vorgegeben | Frei wählbare, kostenlose Modelle, soweit technisch lauffähig |
| Anpassbarkeit | Begrenzte Anpassung über Einstellungen, Prompts oder API | Hohe technische Anpassbarkeit möglich |
| Integration in eigene Systeme | Gut über API möglich, aber extern abhängig | Sehr gut intern integrierbar, ohne externe Datenübertragung |
| Sicherheit | Anbieter muss vertraut werden | Eigene Sicherheitsmaßnahmen entscheidend |
| Nutzung sensibler Daten | Kritisch, da externer US-Cloud-Dienst mit möglichem Drittlandtransfer und Zugriffen nach US-Recht (CLOUD Act). Für sensible Daten eher ungeeignet | Deutlich besser geeignet, wenn die KI vollständig lokal oder im eigenen Rechenzentrum betrieben wird. Daten verlassen das eigene System nicht, sofern keine externen Dienste angebunden sind. Zugriff, Speicherung, Löschung, Protokollierung und Absicherung bleiben unter eigener Kontrolle |
| Ausfallsicherheit | Abhängig vom Anbieter und Internetzugang | Abhängig von eigener Infrastruktur |
| Aktualität des Wissens | Je nach Modell und Funktion oft besser angebunden | Modellwissen ist statisch, außer eigene Quellen werden angebunden |
| Lizenz- und Nutzungskosten | Es gibt zwar einen kostenlosen ChatGPT-Zugang, für erweiterte oder produktive Nutzung sind aber bezahlte Pläne wie Plus, Pro, Business oder Enterprise relevant. | Ollama kann lokal ohne Abo genutzt werden. Die Software ist frei verfügbar; Ollama steht unter MIT-Lizenz. |
| Kosten pro Anfrage | Bei Abo/API-Nutzung entstehen laufende Kosten beziehungsweise nutzungsabhängige Kosten. | Keine Kosten pro Anfrage (Tokens). Kosten entstehen hauptsächlich durch Hardware, Strom, Wartung und Speicherplatz. |
| Open Source / Offenheit | ChatGPT selbst ist ein proprietärer Cloud-Dienst. Modell, Betrieb und interne Umsetzung sind nicht vollständig einsehbar oder selbst kontrollierbar. | Viele lokale Werkzeuge sind Open Source. Ollama ist ein frei verfügbares Werkzeug; bei den Modellen hängt die Lizenz aber vom jeweiligen LLM ab. Nicht jedes Modell ist automatisch Open Source. |
| Modellkosten | Die verfügbaren Modelle sind an den gewählten ChatGPT-Plan beziehungsweise API-Zugang gebunden. | Viele LLMs können kostenlos heruntergeladen und lokal genutzt werden. Die konkrete erlaubte Nutzung hängt von der Modelllizenz ab. |
| Abhängigkeit vom Anbieter | Für leistungsfähige Nutzung besteht eine Abhängigkeit von OpenAI, Tarif, Internetzugang, Limits und Nutzungsbedingungen. | Der Betrieb ist weitgehend unabhängig vom Cloud-Anbieter. Nach Download von Software und Modell kann die Nutzung lokal erfolgen. |
Für welche Variante sich auch entschieden wird: Der Asset Manager ist im Auslieferungszustand für keine der beiden Varianten vorkonfiguriert, da fast alle Funktionen auch ohne KI verfügbar sind. Die Ausnahme: Rechnung zu Sql, hier wird eine lokale KI benötigt.
Einsatz von ChatGPT
Die Verwendung von ChatGPT ist unkompliziert:
- Mit einem Account bei OpenAI einen API-Key erstellen und diesen beim Asset Manager in den Einstellungen eintragen und als Provider OpenAI auswählen, fertig.
Einsatz einer lokalen KI
- Ist bereits ein lokaler KI-Server vorhanden, kann dieser genutzt werden. Der Zugriff des Asset Manager Services erfolgt über das API von Ollama das installiert und erreichbar sein muss.
- Alternativ kann auch ein Server in der Cloud gemietet oder lokal neu aufgesetzt werden. Nachfolgend eine grobe Auflistung der Hard- und Softwareanforderungen.
- Schnelle CPU
- Mindestens 32 GB Arbeitsspeicher (RAM)
- Leistungsfähige Grafikkarte (NVIDIA) mit mindestens 16 GB Grafikspeicher (VRAM), besser mehr
- Vorzugsweise Linux auf Debian-Basis wie Ubuntu
- Ollama mit aktiviertem API und entsprechendem Large Language Model (LLM) im GGUF-Format
Funktionen im Asset Manager mit optionaler KI-Unterstützung
- Alle Übersetzungen
- Automatische Erstellung von Bezeichnungen und Beschreibungen bei Filtern
- Automatischen Erstellung von SQL-Skripts auf Basis der Datenbankstruktur (Text zu Sql). Natürliche Sprache wird in Sql umgewandelt und direkt gegen die Datenbank getestet mit Autokorrektur
- Rechnung zu Sql: Extrahieren von vorgegebenen Bestandteilen aus Rechnungen im PDF-Format un Export in Sql-Tabellen.