OpenAI

Einleitung

OpenAI bietet innerhalb des Asset Managers die Möglichkeit, Fragen eines Menschen, die in deutscher oder englischer Sprache formuliert wurden, in eine Structured Query Language, (auf Deutsch: „Strukturierte Abfrage-Sprache“) oder kurz, SQL umwandeln zu können. Hierbei wird intern die Schnittstelle (API) von OpenAI verwendet. Da an OpenAI grundsätzlich beliebige Anfragen gestellt werden können, wird die KI angewiesen, in einem festgelegten Kontext mit einem SQL-Skript zu antworten. Dieses Skript wird anschließend ausgeführt und das Ergebnis angezeigt. Um den Datenschutz zu gewährleisten, wird folgendes Verfahren angewendet:

Es werden keine Daten aus der Asset Manager Datenbank an OpenAI übertragen. Damit die KI aber sinnvolle Antworten erzeugen kann, werden nachfolgende Informationen übermittelt:
- Der System-Prompt, der allgemeine Anweisungen enthält, wie sich die KI verhalten soll
- Die Datenbankstruktur mit Tabellen- und Spalteninformationen (ohne Daten)
- Die Anfragen des Benutzers an die KI

Damit das funktioniert, wird ein API-Key (Zugriffsschlüssel) benötigt. Dieser muss innerhalb der Einstellungen des Asset Managers hinterlegt werden, wie hier beschrieben.

Eingabemöglichkeiten

Anfragen an OpenAI können in schriftlicher oder mündlicher Form gestellt werden.

• Schriftlich: Hierzu kann im Bereich Benutzer die Frage in der Sprache gestellt werden, in der der Asset Manager eingestellt ist (Deutsch oder Englisch. Nach der Eingabe einfach auf den Butten Chat (oder F6) klicken und es erscheint nach kurzer Zeit die Antwort von OpenAI.
  
• Mündlich: Es besteht auch die Möglichkeit, eine Frage mündlich zu formulieren. Hierzu müssen die Microsoft Speech Services innerhalb des Asset Managers konfiguriert werden, wie hier beschrieben. Außerdem muss vorab ein Eingabegerät (Mikrofon) aus der Liste ausgewählt werden. Anschließend kann mit dem Button Aufnehmen (oder F5) die Aufnahme gestartet werden. Die gestellte Anfrage kann auf zwei Arten an OpenAI übermittelt werden:
  
  • Das Sprechen wird beendet, was automatisch erkannt wird. Anschließend einfach auf den Butten Chat (oder F6) klicken und es erscheint nach kurzer Zeit die Antwort von OpenAI.
  • Das Sprechen wird beendet und die Anfrage wird automatisch an OpenAI übermittelt. Voraussetzung hierfür ist, dass die Checkbox Sprachende-Erkennung aktiviert. ist.

Asset Manager AI

Die Asset Manager AI stellt lokale KI-Funktionen für den Asset Manager bereit. Sie läuft im lokalen LAN auf einem separaten Server. Im Unterschied zur OpenAI-Anbindung werden die Modelle nicht über eine externe API angesprochen, sondern lokal auf dem Server ausgeführt.

Server-Anforderungen

Der Server benötigt eine leistungsfähige Hardwareausstattung:

• schnelle CPU
• mindestens 32 GB Arbeitsspeicher (RAM)
• mindestens 16 GB Grafikspeicher (VRAM)
• leistungsfähige Grafikkarte

Mehr Arbeitsspeicher und mehr Grafikspeicher sind empfehlenswert. Die tatsächlich nutzbaren Large Language Models (LLM) hängen besonders von den verfügbaren Ressourcen der Grafikkarte ab.

Installation und Komponenten

Die Asset Manager AI kann auf folgenden Systemen installiert werden:

Zusätzlich werden folgende Komponenten verwendet:

• Ollama zur lokalen Ausführung verschiedener Large Language Models (LLM)
• Poppler-Tools für die Verarbeitung von PDF-Dateien

Diese Kombination ermöglicht es, verschiedene Large Language Models lokal zu betreiben, sofern CPU, Arbeitsspeicher und besonders die Grafikkarte ausreichend Ressourcen bereitstellen.

Datenschutz

Die Daten verlassen niemals den Server.
Alle Anfragen, Dokumentinhalte, Zwischenergebnisse und Ausgaben bleiben lokal auf dem Server im LAN. Es findet keine Übertragung an externe KI-Dienste statt.Damit bleiben die Daten innerhalb der eigenen Infrastruktur. Dies ermöglicht eine DSGVO-konforme Verarbeitung, da personenbezogene Daten nicht an externe KI-Anbieter übertragen werden.

Funktionen

Die Asset Manager AI unterstützt folgende Funktionen:

• Übersetzungshilfe Deutsch ↔ Englisch
  Texte und Begriffe können von Deutsch nach Englisch und von Englisch nach Deutsch übersetzt werden. Weitere Informationen: Übersetzungen
• Text-to-SQL
  Fragen in natürlicher Sprache können in SQL-Abfragen umgewandelt werden, wie am Anfang dieses Kapitels beschrieben. Die Verarbeitung erfolgt lokal über die Asset Manager AI.
• PDF-Rechnungen in SQL-Tabellen umwandeln
  PDF-Rechnungen können verarbeitet, ausgewertet und in SQL-Tabellen überführt werden. Für die PDF-Verarbeitung werden die Poppler-Tools verwendet.