Prompt Engineering
Die Kunst und Technik, Eingaben an KI-Modelle so zu formulieren, dass sie möglichst gute und nuetzliche Antworten liefern. Dazu gehören Techniken wie Few-Shot Learning, Chain-of-Thought oder das Setzen von Systemanweisungen. Prompt Engineering ist eine Kernkompetenz im Umgang mit modernen Sprachmodellen.
RAG
Retrieval-Augmented Generation kombiniert ein Sprachmodell mit einer externen Wissensdatenbank. Bevor das Modell eine Antwort generiert, werden relevante Informationen aus der Datenbank abgerufen und dem Modell als Kontext bereitgestellt. RAG reduziert Halluzinationen und ermöglicht es, aktuelle oder unternehmensspezifische Daten einzubeziehen.
Reinforcement Learning
Eine Lernmethode, bei der ein KI-Agent durch Ausprobieren und Belohnung lernt, optimale Entscheidungen zu treffen. Der Agent erhält positives oder negatives Feedback für seine Aktionen und passt sein Verhalten entsprechend an. Reinforcement Learning wird unter anderem für Spielstrategien und die Feinabstimmung von Sprachmodellen verwendet.
Temperatur
Ein Parameter bei der Textgenerierung, der steuert, wie kreativ oder zufällig die Ausgabe eines Sprachmodells ist. Eine niedrige Temperatur führt zu vorhersagbaren, konservativen Antworten, eine hohe Temperatur zu kreativeren, aber weniger zuverlässigen Ergebnissen. Die Temperatur wird typischerweise zwischen 0 und 2 eingestellt.
Token
Die kleinste Einheit, in die ein Text zerlegt wird, bevor ein Sprachmodell ihn verarbeitet. Ein Token kann ein ganzes Wort, ein Wortteil oder ein einzelnes Zeichen sein. Die Anzahl der Token bestimmt, wie viel Text in das Kontextfenster eines Modells passt, und beeinflusst die Kosten der Nutzung.
Transformer
Eine 2017 vorgestellte Architektur für neuronale Netze, die auf dem Attention-Mechanismus basiert und parallele Datenverarbeitung ermöglicht. Transformer sind die Grundlage fast aller modernen Sprachmodelle und haben aeltere Architekturen wie RNNs weitgehend abgelöst. Die Architektur ist auch in Bild- und Audio-Modellen erfolgreich.
Transfer Learning
Ein Ansatz, bei dem ein auf einer großen Datenmenge vortrainiertes Modell für eine neue, verwandte Aufgabe weiterverwendet wird. Statt von Null zu beginnen, nutzt das Modell sein bereits gelerntes Wissen als Startpunkt. Transfer Learning spart erheblich Zeit, Rechenleistung und Trainingsdaten.
Vektor-Datenbank
Eine spezialisierte Datenbank, die Datenpunkte als hochdimensionale Vektoren speichert und effizient nach ähnlichen Vektoren suchen kann. Sie wird häufig mit Embeddings verwendet, um semantische Suche, Empfehlungssysteme und RAG-Anwendungen zu ermöglichen. Bekannte Beispiele sind Pinecone, Weaviate und Chroma.
Zero-Shot Learning
Die Fähigkeit eines KI-Modells, eine Aufgabe zu lösen, ohne dafür speziell trainiert oder mit Beispielen versorgt worden zu sein. Das Modell übertraegt sein allgemeines Wissen auf die neue Aufgabe. Zero-Shot Learning ist besonders bei großen Sprachmodellen beeindruckend, die viele Aufgaben allein durch eine Anweisung im Prompt lösen können.