WEKA arbeitet mit Contextual AI zusammen, um produktionsreife KI-Lösungen für Unternehmen in der Google Cloud bereitzustellen
Contextual Language Models („kontextbezogene Sprachmodelle", CLM) nutzen die WEKA-Datenplattform für eine sicherere, präzisere und effizientere Nutzung von KI im Unternehmen
CAMPBELL, Kalifornien, 7. August 2024 /PRNewswire/ -- WekaIO (WEKA), das Unternehmen für KI-native Datenplattformen, gab heute bekannt, dass es mit Contextual AI zusammenarbeitet, dem Unternehmen, das KI entwickelt, um die Arbeitsweise der Welt zu verändern, um die Dateninfrastruktur bereitzustellen, die seinen Contextual Language Models (CLMs) zugrunde liegt. Die CLMs von Contextual AI werden mit RAG 2.0 trainiert, einem proprietären Retrieval-Augmented-Generation (RAG)-Ansatz der nächsten Generation, der von Contextual AI entwickelt wurde und jetzt von der WEKA® Datenplattform unterstützt wird. CLMs ermöglichen sichere, genaue und vertrauenswürdige KI-Anwendungen für Fortune 500-Unternehmen auf der Plattform von Contextual AI.
Entwicklung der nächsten Generation von KI-Modellen für Unternehmen
Contextual AI wurde 2023 gegründet und bietet eine schlüsselfertige Plattform für die Entwicklung von KI-Anwendungen für Unternehmen, die auf seiner hochmodernen RAG 2.0-Technologie basieren. Im Gegensatz zu herkömmlichen RAG-Pipelines, die ein eingefrorenes Modell für Einbettungen, eine Vektordatenbank für das Retrieval und ein Blackbox-Generierungsmodell zusammenfügen, bietet RAG 2.0 ein einziges integriertes End-to-End-System, das eine höhere Genauigkeit, eine bessere Compliance, weniger Halluzinationen und die Möglichkeit bietet, die Antworten zu den Quelldokumenten zurückzuführen.
Generative KI-Workloads haben erhebliche Anforderungen an Leistung, Datenmanagement und Rechenleistung, was ihr Training und ihre Bereitstellung zeit- und ressourcenintensiv machen kann. Contextual AI nutzt große, vielfältige Datensätze, um seine CLMs zu trainieren. Während des Trainings stieß das Unternehmen zunächst auf Leistungsengpässe und Skalierungsprobleme, die eine schlechte GPU-Auslastung verursachten und die Entwicklungszeiten für KI-Modelle verzögerten.
Architektur eines Datenverwaltungssystems zur Maximierung der GPU-Auslastung
Die Steigerung der GPU-Auslastung ist entscheidend, um sicherzustellen, dass KI-Systeme und -Workloads mit maximaler Effizienz laufen. Die fortschrittliche KI-native Architektur der WEKA Datenplattform wurde speziell entwickelt, um jeden Schritt der KI-Pipeline zu beschleunigen und reibungslose Datenpipelines zu erstellen, die die GPUs mit Daten sättigen, um sicherzustellen, dass sie effektiver funktionieren, damit KI-Workloads schneller und nachhaltiger laufen. Die cloud- und hardwareunabhängige Softwarelösung von WEKA ist so konzipiert, dass sie überall eingesetzt werden kann. Ihre Zero-Copy- und Zero-Tune-Architektur unterstützt dynamisch jedes KI-Workload-Profil, indem sie Metadaten-Operationen über Millionen kleiner Dateien während des Modelltrainings und massive Schreibleistungen während Modell-Checkpoint-Operationen in einer einzigen Datenplattform verarbeitet.
Contextual AI setzte die WEKA Datenplattform auf Google Cloud ein, um eine hochleistungsfähige Dateninfrastrukturebene zu schaffen, die alle seine Datensätze - insgesamt 100 TB - für das KI-Modelltraining verwaltet. Die WEKA-Plattform lieferte einen deutlichen Sprung in der Datenleistung, der direkt mit der Steigerung der Entwicklerproduktivität und der Beschleunigung der Modelltrainingszeiten korrelierte.
Zusätzlich zur schnellen Datenübertragung vom Speicher zum Beschleuniger bot die WEKA-Plattform Contextual AI eine nahtlose Metadatenverarbeitung, Checkpointing und Datenvorverarbeitungsfunktionen, die Leistungsengpässe bei den Trainingsprozessen beseitigten, die GPU-Auslastung verbesserten und zur Senkung der Cloud-Kosten beitrugen.
„Das Training umfangreicher KI-Modelle in der Cloud erfordert eine moderne Datenverwaltungslösung, die eine hohe GPU-Auslastung bietet und die benötigte Zeit für die Modellentwicklung beschleunigt", so Amanpreet Singh, CTO und Mitbegründer von Contextual AI. „Mit der WEKA Datenplattform verfügen wir jetzt über die robusten Datenpipelines, die wir benötigen, um Next-Gen-GPUs zu betreiben und hochmoderne generative KI-Lösungen in großem Maßstab zu entwickeln. Das funktioniert wunderbar, wenn es darum geht, schnelle, flüchtige Daten in persistente, erschwingliche Daten zu verwandeln."
Die wichtigsten Ergebnisse, die mit der WEKA-Datenplattform erzielt wurden:
- 3x Leistungsverbesserungen: Dreifache Leistungssteigerung für wichtige KI-Anwendungsfälle dank deutlich gesteigerter GPU-Auslastung.
- 4x schnelleres KI-Modell-Checkpointing: Eliminierung von Verzögerungen bei der Fertigstellung von Modell-Checkpoints, um eine vierfache Verbesserung der Checkpointing-Prozesse zu erreichen und die Produktivität der Entwickler drastisch zu steigern.
- 38 % Kostenreduzierung: Die damit verbundenen Cloud-Speicherkosten wurden um 38 Prozent pro Terabyte gesenkt.
„Generative KI birgt ein nahezu unbegrenztes Potenzial, um Erkenntnisse und neue Wertschöpfung für Unternehmen zu erschließen, aber viele wissen noch nicht, wo sie anfangen sollen und wie sie ihre KI-Projekte vorantreiben können", sagt Jonathan Martin, Präsident von WEKA. „Contextual AI innoviert die Zukunft der Unternehmens-KI, indem es fortschrittliche generative KI-Lösungen entwickelt, die Unternehmen dabei helfen, das Potenzial von KI viel, viel schneller zu nutzen. WEKA ist stolz darauf, Contextual AI bei der Bewältigung kritischer Herausforderungen im Datenmanagement zu unterstützen, um das Training zuverlässiger, vertrauenswürdiger KI-Modelle zu beschleunigen, die die KI-Revolution vorantreiben werden."
Um mehr darüber zu erfahren, wie Contextual AI mit WEKA zusammenarbeitet, um seine KI-Lösungen für Unternehmen zu betreiben, besuchen Sie uns: https://www.weka.io/customers/contextual-ai/.
Informationen zu Contextual AI
Contextual AI hat es sich zur Aufgabe gemacht, die Welt durch KI zu verändern. Das Unternehmen, dem Fortune-500-Unternehmen vertrauen, automatisiert komplexe Aufgaben und ermöglicht es Wissensarbeiter*innen, sich auf hochwertige Tätigkeiten zu konzentrieren. Mitbegründer und Geschäftsführer Douwe Kiela, der die ursprüngliche, dem Industriestandard entsprechende RAG-Technik entwickelt hat, leitet unser Team von Top-Experten zusammen mit Mitbegründer und CTO Amanpreet Singh. Das Team entwickelt anpassbare generative KI-Anwendungen mit modernster RAG 2.0-Technologie und durchgängigem maschinellem Lernen für Unternehmen in verschiedenen Anwendungsfällen und Branchen, darunter Banken, Halbleiter, Medien und andere. Contextual AI hat seinen Hauptsitz in Mountain View und Niederlassungen in New York und London und beschäftigt über 30 Mitarbeiter. Weitere Informationen finden Sie unter https://contextual.ai.
Informationen zu WEKA
WEKA entwickelt einen neuen Ansatz für den Unternehmensdaten-Stack, der für die KI-Ära konzipiert ist. Die WEKA® Datenplattform setzt den Standard für KI-Infrastrukturen mit einer Cloud- und KI-nativen Architektur, die überall eingesetzt werden kann und eine nahtlose Datenportabilität in On-Premises-, Cloud- und Edge-Umgebungen bietet. Sie wandelt alte Datensilos in dynamische Datenpipelines um, die GPUs, KI-Modell-Training und -Inferenz sowie andere leistungsintensive Arbeitslasten beschleunigen, so dass sie effizienter arbeiten, weniger Energie verbrauchen und die damit verbundenen Kohlenstoffemissionen reduzieren. WEKA hilft den innovativsten Unternehmen und Forschungseinrichtungen der Welt, komplexe Datenherausforderungen zu bewältigen, um schneller und nachhaltiger zu Entdeckungen, Erkenntnissen und Ergebnissen zu gelangen - darunter 12 der Fortune 50. Besuchen Sie www.weka.io um mehr zu erfahren, oder verbinden Sie sich mit WEKA auf LinkedIn, X, und Facebook.
Sehen Sie, warum WEKA im Gartner® Magic Quadrant™ für verteilte Dateisysteme und Objektspeicher drei Jahre in Folge als Visionär anerkannt wurde - holen Sie sich den Bericht.
WEKA und das WEKA-Logo sind eingetragene Marken von WekaIO, Inc. Andere hier verwendete Markennamen können Marken der jeweiligen Eigentümer sein.
Logo – https://mma.prnewswire.com/media/1796062/WEKA_v1_Logo.jpg
Artikel teilen