Grundlagen

• Einführung in KI und Large Language Models (LLM).
• Relevanz von LLMs für Unternehmen.
• Potenzielle Anwendungsfälle und deren Mehrwert.
• Produktentwicklung: Wertversprechen, Nutzergruppen und Zielsetzungen.

Anwendungsbeispiele aus der Praxis

• Bosch und Aleph Alpha.
• DM und dmGPT.
• Weitere Beispiele: Moody's Copilot, OTTO ogGPT, McKinsey Lilly.
• Diskussion und Analyse der vorgestellten Anwendungen.
• Arten von InhouseGPT:
  • Enterprise Search
  • Prozessautomatisierung mit Prompt Engineering
  • Produkte mit KI

Ansätze und Möglichkeiten

• Training from scratch: Vorteile, Nachteile und Kosten.
• Fine-tuning: Anpassung an firmeninterne Daten, Menge der Trainingsdaten, Qualität.
• Retrieval Augmented Generation (RAG): Integration von Datenbanken, Vector Store, Customizing.

InhouseGPT Pilot

• Prozess: Prototyp mit ChatGPT, Pilot mit Streamlit & Chainlit, InhouseGPT als skalierbares Produkt.
• Extraktion von Unternehmensdaten aus OneDrive.
  • Datenmanagement und -qualität als Voraussetzung.
• Hinzufügen von Daten zu Pinecone, qdrant, Weaviate als Vector-Embeddings.
• LLM: Nutzung von OpenAI Schnittstellen bzw. Aufsetzen von Llama2 in Runpod oder eigenen Servern.
• Prompt-Kataloge mit Python und LMQL.
• Chat-Interface mit Streamlit.
• Integration mit Outlook.
• Web-Server mit FastAPI.

Technologien und Tools

• Auswahl der geeigneten Infrastruktur (z.B. Cloud vs. On-Premise).
• Modelle: OpenAI API und GPT-3.5, Claude 2, Llama 2, Falcon, Deci, Mistral, Adept.
• Daten: Pinecone, Weaviate, MongoDB.
• Trainieren und Fine-tunen: PyTorch, Hugging Face, GradientAI.
• Orchestrierung: LangChain, LlamaIndex, Haystack.
• Interfaces: Streamlit & Chainlit, Business Apps, Web Apps.
• Skalierung: Snorkel, Runpod, MosaicML.

Staffing und Umsetzung

• Anforderungen und Erwartungen der Stakeholder:innen.
• Teamstrukturen und Rollen.
• Anforderungen an Qualifikationen, Fähigkeiten und Weiterbildung.
• Entwicklung einer Lösungsarchitektur; Kosten und Budget.
• Training und Befähigung der Endnutzer.