WEKA werkt samen met Contextual AI om productie-klare Enterprise AI-oplossingen in Google Cloud te stimuleren
Contextual Language Model (CLM) maakt gebruik van het WEKA-dataplatform om veiliger, nauwkeuriger en efficiënter gebruik te maken van Enterprise AI.
CAMPBELL, Calif., 7 augustus 2024 /PRNewswire/ -- WekaIO (WEKA), het AI-native dataplatformbedrijf, heeft vandaag aangekondigd dat het samenwerkt met Contextual AI, het bedrijf dat AI bouwt om te veranderen hoe de wereld werkt, met als doel de data-infrastructuur te leveren die de Contextual Language Models (CLM's) ondersteunt. Contextual AI's CLM's worden getraind met behulp van RAG 2.0, een eigen retrieval-augmented generation (RAG) aanpak van de volgende generatie, ontwikkeld door Contextual AI, nu aangedreven door het WEKA®-dataplatform. CLM's zorgen voor veilige, nauwkeurige en betrouwbare AI-toepassingen voor Fortune 500-bedrijven op het platform van Contextual AI.
Het ontwikkelen van de volgende generatie Enterprise AI-modellen
Contextual AI is opgericht in 2023 en levert een kant-en-klaar platform voor het bouwen van Enterprise AI-applicaties op basis van zijn geavanceerde RAG 2.0-technologie. In tegenstelling tot traditionele RAG-pijplijnen, die een bevroren model voor integraties, een vectordatabase voor ophalen en een black box generatiemodel aan elkaar koppelen, biedt RAG 2.0 één geïntegreerd end-to-end systeem. Dit levert hogere nauwkeurigheid, betere naleving, minder hallucinatie en de mogelijkheid om antwoorden terug te koppelen naar brondocumenten.
Generatieve AI-workloads stellen hoge eisen aan prestaties, gegevensbeheer en rekenkracht, waardoor het trainen en bedienen tijd- en middelenrovend kan zijn. Contextual AI maakt gebruik van grote, diverse datasets om zijn CLM's te trainen. Tijdens het trainen stuitte het bedrijf aanvankelijk op prestatieknelpunten en schaalproblemen die een slecht gebruik van GPU's veroorzaakten en de ontwikkeling van AI-modellen vertraagden.
Een datamanagementsysteem ontwerpen om het GPU-gebruik te maximaliseren
Het GPU-gebruik verhogen is van cruciaal belang om ervoor te zorgen dat AI-systemen en -werklasten zo efficiënt mogelijk werken. De geavanceerde AI-native architectuur van het WEKA-dataplatform is speciaal gebouwd om elke stap van de AI-pijplijn te versnellen. Dit zorgt voor wrijvingsloze datapijplijnen die GPU's verzadigen met gegevens zodat ze effectiever werken en AI-workloads sneller en duurzamer worden uitgevoerd. WEKA's software oplossing is cloud en hardware-agnostisch en ontworpen voor gebruik overal. De zero-copy, zero-tune architectuur ondersteunt dynamisch elk AI workload-profiel in een enkel dataplatform. Metadatabewerkingen worden afgehandeld in miljoenen kleine bestanden tijdens modeltraining en de schrijfprestaties tijdens model checkpoint-uitvoeringen zijn enorm.
Contextual AI heeft het WEKA-dataplatform ingezet op Google Cloud om een hoogpresterende data-infrastructuurlaag te creëren die al zijn datasets beheert voor AI-modeltraining, in totaal 100 TB. Het WEKA-platform leverde een significante sprong in dataprestaties die direct correleerde met een verhoogde productiviteit van ontwikkelaars en het versnellen van modeltrainingstijden.
Naast de snelle verplaatsing van gegevens van de opslag naar de versneller, voorzag het WEKA-platform Contextual AI van naadloze metadata verwerking, checkpointing en datapreprocessing-mogelijkheden. Dit elimineerde knelpunten in de prestaties van trainingsprocessen, verbeterde het GPU-gebruik en heeft geholpen bij het verlagen van de cloud-kosten.
"Voor het trainen van grootschalige AI-modellen in de cloud is een moderne oplossing voor gegevensbeheer nodig die een hoog GPU-gebruik kan leveren en de wandkloktijd voor modelontwikkeling kan versnellen," zegt Amanpreet Singh, CTO en medeoprichter van Contextual AI. "Met het WEKA-dataplatform hebben we nu de robuuste datapijplijnen die nodig zijn om next-gen GPU's aan te drijven en state-of-the-art generatieve AI-oplossingen op schaal te bouwen. Het werkt als bij toverslag om snelle, kortstondige opslag om te zetten in blijvende, betaalbare gegevens."
Belangrijkste resultaten die met het WEKA-dataplatform zijn bereikt:
- 3x prestatieverbeteringen: Drie keer betere prestaties voor belangrijke AI-gebruikscases dankzij een aanzienlijke toename in GPU-gebruik.
- 4x sneller AI-model checkpointing: Geen vertragingen meer in het voltooien van modelcheckpoints, waardoor checkpointingprocessen vier keer beter zijn geworden, en de productiviteit van ontwikkelaars drastisch is gestegen.
- 38% kostenreductie: De bijbehorende kosten voor cloudopslag daalden met 38 procent per terabyte.
"Generatieve AI heeft een vrijwel onbeperkt potentieel om inzichten te ontsluiten en nieuwe waarde te creëren voor bedrijven, maar veel bedrijven weten nog niet waar ze moeten beginnen en hoe ze hun AI-projecten vooruit kunnen helpen," zegt Jonathan Martin, president bij WEKA. "Contextual AI innoveert de toekomst van enterprise-AI door geavanceerde generatieve AI-oplossingen te creëren die organisaties helpen het potentieel van AI heel veel sneller aan te boren. WEKA is er trots op Contextual AI te kunnen helpen bij het overwinnen van kritieke uitdagingen op het gebied van datamanagement om de training van betrouwbare AI-modellen te versnellen die de AI-revolutie zullen bevorderen."
Ga voor meer informatie over hoe Contextual AI met WEKA samenwerkt om zijn enterprise AI-oplossingen te stimuleren, naar: https://www.weka.io/customers/contextual-ai/.
Over Contextual AI
Contextual AI heeft als missie om de manier waarop de wereld werkt te veranderen met AI. Het bedrijf wordt vertrouwd door Fortune 500-bedrijven en automatiseert complexe taken, zodat kenniswerkers zich kunnen concentreren op hoogwaardige activiteiten. Medeoprichter en CEO Douwe Kiela, die als eerste de originele RAG-techniek ontwikkelde, leidt ons team van topexperts samen met medeoprichter en CTO Amanpreet Singh. Het team werkt aan aanpasbare generatieve AI-toepassingen met geavanceerde RAG 2.0-technologie en end-to-end machine learning voor bedrijven in verschillende gebruikssituaties en sectoren, waaronder het bankwezen, halfgeleiders, media en meer. Contextual AI heeft zijn hoofdkantoor in Mountain View en kantoren in New York en Londen, waar meer dan 30 mensen werken. Meer informatie op https://contextual.ai.
Over WEKA
WEKA ontwerpt een nieuwe benadering van de enterprise datastack, gebouwd voor het AI-tijdperk. Het WEKA®-dataplatform zet de standaard voor AI-infrastructuur met een cloud- en AI-native architectuur die overal kan worden ingezet en naadloze dataportabiliteit biedt in on-premises, cloud- en edge-omgevingen. Het bedrijf transformeert stagnerende gegevensopslagsilo's in dynamische datapijplijnen die GPU's, AI-modeltraining en inferentie, en andere prestatie-intensieve werklasten in de versnelling zetten, om efficiënter te werken, minder energie te verbruiken en de bijbehorende CO2-uitstoot te verminderen. WEKA helpt 's werelds meest innovatieve bedrijven en onderzoeksorganisaties complexe data uitdagingen te overwinnen om sneller en duurzamer tot ontdekkingen, inzichten en resultaten te komen - inclusief 12 van de Fortune 50. Bezoek www.weka.io voor meer informatie, of verbind met WEKA op LinkedIn, X en Facebook.
Bekijk waarom WEKA drie jaar op rij is erkend als visionair in het Gartner® Magic Quadrant™ voor gedistribueerde bestandssystemen en objectopslag - ontvang het rapport.
WEKA en het WEKA-logo zijn geregistreerde handelsmerken van WekaIO, Inc. Andere hierin gebruikte handelsnamen kunnen handelsmerken zijn van hun respectieve eigenaars.
Logo - https://mma.prnewswire.com/media/1796062/WEKA_v1_Logo.jpg
WANT YOUR COMPANY'S NEWS FEATURED ON PRNEWSWIRE.COM?
Newsrooms &
Influencers
Digital Media
Outlets
Journalists
Opted In
Share this article