Infrastruktur für KI
Storage und Server von IBM
Subheadline
Künstliche Intelligenz (KI) hat seit der Veröffentlichung von ChatGPT einen regelrechten Hype ausgelöst, insbesondere die generative KI. Die Technologie kann Produktivität, Innovation und Automatisierung steigern. KI stellt hohe Anforderungen an die IT-Infrastruktur, insbesondere im Hinblick auf wachsende Ressourcenanforderungen und Silos, Infrastruktur- und Plattformbeschränkungen sowie Energieeffizienz, Sicherheit und Datenresilienz. Mit CANCOM und IBM können Unternehmen diese Herausforderungen meistern und von den Chancen profitieren.
KI in Unternehmen einsetzen
KI erfordert einen End-to-End-Ansatz, der schnelle Innovationen und ein integriertes und automatisiertes Betriebsmodell ermöglicht. Eine gesamtheitliche Betrachtung, die von der Datenaufbereitung über das Training und die Validierung von Modellen und die Modellanpassung bis hin zur Bereitstellung von KI reicht, ermöglicht es, schneller Erkenntnisse aus Daten zu gewinnen.
Der Fokus liegt dabei auf einer beschleunigten Datenbereitstellung, Datenorganisation und gemeinsamen Datennutzung – effizient, zuverlässig und ausfallsicher. IBM Infrastruktur für KI ermöglicht den schnellen Zugriff auf die richtigen Daten für schnellere KI-Ergebnisse – am richtigen Ort und zur richtigen Zeit.
IBM Storage für KI
IBM Storage Scale End-to-End-Lösung mit NVIDIA – der Turbo für den direkten Zugriff auf KI in Unternehmen: Beispiel für Training und Bereitstellung mit Hybrid Cloud
Kostengünstiger Object Speicher dient zur Vorverarbeitung und Sammlung der Daten wie Bild-, Text-, Sprach- und Videodaten. IBM® Cloud Object Storage ist eine softwaredefinierte, lokal ausgeführte Speicherlösung. Diese integriert Daten vom Edge, dem Rechenzentrum oder der Cloud und vereinfacht die Verwaltung von Speichern mit Petabyte- oder sogar Exabyte-Umfang. Die enorme Skalierbarkeit sorgt dafür, dass eine schnelle Zunahme unstrukturierter Daten die Speicherkapazität nicht übersteigt.
IBM Storage Scale System Appliance als Basis für das Training des KI Modells: Daten aus Rechenzentrum, Edge und Cloud werden in einer einzigen globalen Datenplattform mit optimierter Performance für GPU-Workloads zusammengeführt. Sie bietet Services für Datenzugriff, Caching, Management und sichert die Resilienz von Daten. Das Storage Scale System steht für hohe Performance, Sicherheit, Konnektivität und Erschwinglichkeit und bietet Multi-Cloud-Support für die freie Wahl bei der Erweiterung des Systems.
Im Zusammenspiel von IBM Storage Scale mit NVIDIA-Lösungen für Künstliche Intelligenz können Unternehmen ihre KI-Innovation mit einer Lösung beschleunigen.
IBM Fusion Hyper Converged Infrastructure (HCI) mit NVIDIA GPUs als Appliance mit Red Hat OpenShift und den IBM watsonx Lösungen bietet die optimale Basis für die on-Premises Bereitstellung des trainierten Modells, welches von Anwendungen über APIs aufgerufen wird.
Infrastruktur für KI
Erfahren Sie im Gespräch zwischen Martin Mayr (Senior Vice President, CANCOM) und Steffen Güntzler (Technology Ecosystem Leader DACH, IBM) mehr über den richtigen Einsatz von Künstlicher Intelligenz in Unternehmen.
Vorteile von IBM Storage
Aufbrechen von Datensilos
Globale Datenplattform mit aktivem Dateimanagement für Datenintegrität, Vermeidung zusätzlicher Datenkopien und gemeinsame Nutzung einer einzigen Datenquelle weltweit.
Investitionsschutz durch Vereinheitlichung von Multi-Vendor Storage mit dem Storage Scale System
Optimierung der Speicherung von KI Daten
Datenkatalogisierung und Tiering für Wirtschaftlichkeit und Flexibilität
Geringe Kosten durch weniger Platz- und Energiebedarf
Richtlinienbasierte automatische Verlagerung „kalter Daten“ auf die kostengünstigste Ebene
Schnell zu KI-Ergebnissen
Weltweites paralleles Filesystem mit höchster Leistung bei Lese- und Schreibvorgänge sowie Dichte
Lineare Skalierbarkeit für zukünftiges Wachstum durch einfachen Bausteinansatz
IBM Server für KI
KI kann den entscheidenden Vorsprung im Geschäftsalltag bringen
Zuverlässige Performance, flexible hybride Nutzung und sichere Erkenntnisse stehen aus Sicht von IBM bei der Verarbeitung von Daten und KI-Workloads im Vordergrund. Der IBM Power Server ist dafür optimiert.
Technische Innovationen der neuesten IBM Power Generation
On-Chip KI Beschleunigung – 4x Matrix Math Accelerator & 8 x Single-Instruction Multiple-Data
Großer Speicher & Cache – TB Hauptspeicher pro Kern
Hochparallel – 4x mehr Threads pro Kern
Enterprise Server Design – niedrigerer CO2 Fußabdruck
IBM Power wurde für die Ausführung von KI entwickelt und bietet
Effiziente KI-Beschleunigung durch den Einsatz von KI-optimierter Hard- und Software.
– Ausführung von KI-Modellen auf einer hochleistungsfähigen, nachhaltigen Plattform
– Vereinfachung der Architektur und erzielen von Kosteneinsparungen
– Skalierung von KI-Lösungen mit einem spezialisierten Partner-ÖkosystemFlexible KI-Orchestrierung durch Erstellung und Ausführung von KI wo und wie sie benötigt wird.
– Nahtlose Nutzung einer hybriden Cloud-Infrastruktur
– Flexible Nutzung von Ressourcen – Kombination von Unternehmens
– und Open Source KI-SoftwareNutzung von Cloud-Verträgen und – Rabatten automatisierenUmfassende Sicherheit für KI und Daten
– Risikominimierung durch Konvergenz von KI und Daten
– Sicherung von KI-Workloads auf allen Ebenen des Stacks
– Schutz der Daten durch beschleunigte Verschlüsselung
IBM-eigene Tests ergaben im Vergleich zu ähnlichen Servern für Inferenz
42%
mehr Durchsatz für Large Language Models1
39%
mehr Durchsatz für Large Language Models1
51%
niedrigere TCO über drei Jahre2
Flyer download
5 Gründe für die Ausführung von KI-Workloads auf IBM Power
1 Based on IBM internal testing of question and answer inferencing using PrimeQA model (based on Dr. Decr and ColBERT models). Results valid as of Aug 22, 2023, and conducted under laboratory conditions, individual results can vary based on workload size, use of storage subsystems and other conditions. Comparison is based on total throughput in score (inferences) per second on IBM Power S1022 (1×20-core/512GB) versus Intel Xeon Platinum 8468V-based (1×48-core/512GB) systems. Test was run with Python and Anaconda environments including packages of Python 3.9 and PyTorch 2.0. The Python libraries used are platform-optimized for both Power and Intel. Configuration: OMP-NUM-THREADS = 4; batch size = 60. OMP_NUM_THREADS optimized across a variety of load levels.IBM S1022 Power system: https://www.redbooks.ibm.com/abstracts/redp5675.htmlCompared x86 system:Supermicro SYS-221H-TNR system with x86 AME/AMX AI accelerators: https://www.supermicro.com/en/products/system/hyper/2u/sys-221h-tnrPrimeQA models: https://github.com/primeqaModels fine-tuned by IBM on a corpus of IBM-internal data
2 1.Based on IBM internal testing of data science components, (WML, WSL, Analytic Engine) of Cloud Pak for Data version 4.8 in OpenShift 4.12. Results valid as of 11/17/2023 and conducted under laboratory condition. Individual results can vary based on workload size, use of storage subsystems & other conditions.2.The workload mimics a real-time fraud detection logic flow. JMeter is used to submit credit card transactions for different user id and card number combinations. The inferencing application running as microservices in Cloud Pak for Data deployment space extracts the user id and credit card number and uses them to look up 6 previous transactions of the same user and card combination from the Db2 database which is also running within the Cloud Pak for Data cluster. The data retrieved from the database is then combined with the new entry and pass to the LSTM model to determine whether the latest transaction is fraud or not. The score (value between 0 to 1) is returned to the JMeter client as an indicator of whether that transaction is likely a fraud or not.3.The measurement used for both Power and Intel systems is the throughput result (score/second) reported by JMeter, when running 192 current threads (1 thread representing 1 user) against 96 inferencing end points.4.Power10 S1022 has a total of 40 physical cores and 2 TB RAM (machine type 9105-22A). There are 7 LPAR on this system including 3 master nodes of 2 cores and 32 GB RAM each, 3 worker nodes of 10 cores and 490 GB RAM each, and a bastion node of 4 cores 128 GB RAM. A local 800 GB NVME drives are used as boot drives for each node, and one 1.6TB NVMe used for NFS server storage running on the bastion node. There is one 100G Ethernet adapters virtualized through SRIOV, with each LPAR taken 10% of network bandwidth. Each LPAR ran with CPU frequency range 3.20GHz to 4.0GHz. All 3 worker nodes ran in SMT 4 mode, while master and bastion nodes ran in SMT 8 mode.
5.The Intel system is Xeon Platinum 8468V with 96 physical cores and 2 TB RAM. The KVM host takes 2 core and 32 GB RAM, which supports 7 KVM guests on this system, including 3 master nodes of 4 cores and 32 GB RAM each, 3 worker nodes of 24 cores and 490 GB RAM each, and a bastion node of 4 cores 128 GB RAM. Local 1.6 GB NVME drives are used as boot drives for these nodes, and one 1.6TB NVMe used for NFS storage on the bastion node. There is one 100G Ethernet adapters virtualized through SRIOV. Each KVM guest ran with CPU frequency range from 2.40GHz to 3.8GHz. All nodes are RHEL CoreOS KVM guests running on the server with hyperthreading enabled.
Pricing is based on: Power S1022 (see page 4). Typical industry standard Intel x86 (example on page 5) pricing https://www.synnexcorp.com/us/govsolv/pricing/ and IBM software pricing available at https://www.ibm.com/downloads/cas/DLBOWBPK
Assumes energy usage for the Supermicro server is similar to a similarly configured Lenova server (a ThinkSystem SR650 V3) (https://www.supermicro.com/en/products/system/hyper/2u/sys-221h-tnr): , the relative energy usage between Power and x86 system using IDC QPI (https://www.idc.com/about/qpi), is similar for the batch queries workload, and energy usage scales based on the number of batch queries.