GPT und viele andere Large-Language-Modelle haben das große Potenzial moderner Sprachverarbeitung aufgezeigt. In diesem Kurs entschlüsselst du die Technologien, die dahinter stehen: Natural Language Processing (NLP) und Transformer-Architekturen bilden die Grundlage für intelligente Chatbots, maschinelle Übersetzungen und viele weitere Anwendungen in der Künstlichen Intelligenz. In diesem praxisorientierten 3-tägigen Seminar lernst du Schritt für Schritt, wie du selbst leistungsfähige NLP-Modelle mit Python und TensorFlow entwickelst. Du klassifizierst, analysierst und verarbeitest Textdaten, trainierst neue Datenmodelle und setzt moderne Transformer-Architekturen ein, um mit Künstlicher Intelligenz neue Texte zu generieren. Du lernst dabei, wie du eigene Modelle erstellst oder vortrainierte Modelle (auf der Plattform Hugging Face) einsetzt und optimierst. Dabei erfährst du nicht nur alles Wichtige über die Technologien und Konzepte. Durch zahlreiche Übungen und Beispiele sammelst du auch selbst praktische Erfahrung im Aufbau, Training und Finetuning von Large Language Models und in der Entwicklung eigener Chatbots.

Inhalte

1. Python-Techniken für das Text Processing

Python-Basics für die Textverarbeitung
Text- und PDF-Dateien verarbeiten
Die wichtigsten Regular Expressions

2. Einführung in Natural Language Processing (NLP)

Konzepte des Natural Language Processings
Einsatz der Bibliothek SpaCy zur Textanalyse
Tokenization, Stemming und Lemmatization
Part-of-speech und Named Entity Recognition
Zerlegung von Texten mit Sentence Segmentation

3. Textklassifikation und Textanalyse

Einführung in scikit-learn
Evaluierung von Klassifikationsmodellen mit Präzision, Recall und F1-Score
Semantisches Verständnis und Sentiment Analysis
Vektorbasierte Textrepräsentationen mit Word Vectors
Sentiment Analysis mit der Bibliothek NLTK

4. Topic Modelling und Long Short-Term Memory

Einführung in das Topic Modelling
Klassifizierung mit Latent Dirichlet Allocation (LDA)
Strukturen erkennen mit Non-negative Matrix Factorization (NMF)
Long Short-Term Memory, GRU und Text Generation
Implementierung eines LSTM zur Texterstellung mit Keras

5. Transformer und Attention

Das Konzept der Selbstaufmerksamkeit
Multihead Attention und Bedeutung in NLP-Modellen
Encoder und Decoder für maschinelle Übersetzung und Sprachverständnis
Architekturkonzepte gängiger Transformer-Modelle: GPT-2/3/4, BERT
Erstellen einer Transformer-Struktur mit Python und Keras
Training und Evaluation eines Seq2Seq-Transformers

6. Transfer Learning und Finetuning mit Hugging Face

Einführung in Hugging Face und Vorstellung vortrainierter Modelle
Auswahl geeigneter Modelle und Tokenizer
Transfer Learning und Finetuning vortrainierter Modelle
Automatische Konfiguration und Anpassung von Modellen

7. Praxisprojekt: Trainieren eines eigenen Chatbots