GPT und viele andere Large-Language-Modelle haben das große Potenzial moderner Sprachverarbeitung aufgezeigt. In diesem Kurs entschlüsselst du die Technologien, die dahinter stehen: Natural Language Processing (NLP) und Transformer-Architekturen bilden die Grundlage für intelligente Chatbots, maschinelle Übersetzungen und viele weitere Anwendungen in der Künstlichen Intelligenz. In diesem praxisorientierten 3-tägigen Seminar lernst du Schritt für Schritt, wie du selbst leistungsfähige NLP-Modelle mit Python und TensorFlow entwickelst. Du klassifizierst, analysierst und verarbeitest Textdaten, trainierst neue Datenmodelle und setzt moderne Transformer-Architekturen ein, um mit Künstlicher Intelligenz neue Texte zu generieren. Du lernst dabei, wie du eigene Modelle erstellst oder vortrainierte Modelle (auf der Plattform Hugging Face) einsetzt und optimierst. Dabei erfährst du nicht nur alles Wichtige über die Technologien und Konzepte. Durch zahlreiche Übungen und Beispiele sammelst du auch selbst praktische Erfahrung im Aufbau, Training und Finetuning von Large Language Models und in der Entwicklung eigener Chatbots.
Inhalte
1. Python-Techniken für das Text Processing
- Python-Basics für die Textverarbeitung
- Text- und PDF-Dateien verarbeiten
- Die wichtigsten Regular Expressions
2. Einführung in Natural Language Processing (NLP)
- Konzepte des Natural Language Processings
- Einsatz der Bibliothek SpaCy zur Textanalyse
- Tokenization, Stemming und Lemmatization
- Part-of-speech und Named Entity Recognition
- Zerlegung von Texten mit Sentence Segmentation
3. Textklassifikation und Textanalyse
- Einführung in scikit-learn
- Evaluierung von Klassifikationsmodellen mit Präzision, Recall und F1-Score
- Semantisches Verständnis und Sentiment Analysis
- Vektorbasierte Textrepräsentationen mit Word Vectors
- Sentiment Analysis mit der Bibliothek NLTK
4. Topic Modelling und Long Short-Term Memory
- Einführung in das Topic Modelling
- Klassifizierung mit Latent Dirichlet Allocation (LDA)
- Strukturen erkennen mit Non-negative Matrix Factorization (NMF)
- Long Short-Term Memory, GRU und Text Generation
- Implementierung eines LSTM zur Texterstellung mit Keras
5. Transformer und Attention
- Das Konzept der Selbstaufmerksamkeit
- Multihead Attention und Bedeutung in NLP-Modellen
- Encoder und Decoder für maschinelle Übersetzung und Sprachverständnis
- Architekturkonzepte gängiger Transformer-Modelle: GPT-2/3/4, BERT
- Erstellen einer Transformer-Struktur mit Python und Keras
- Training und Evaluation eines Seq2Seq-Transformers
6. Transfer Learning und Finetuning mit Hugging Face
- Einführung in Hugging Face und Vorstellung vortrainierter Modelle
- Auswahl geeigneter Modelle und Tokenizer
- Transfer Learning und Finetuning vortrainierter Modelle
- Automatische Konfiguration und Anpassung von Modellen
7. Praxisprojekt: Trainieren eines eigenen Chatbots
