ibm_infrastruktur_fuer_ki

Infrastruktur für KI

Storage und Server von IBM

Künstliche Intelligenz (KI) hat seit der Veröffentlichung von ChatGPT einen regelrechten Hype ausgelöst, insbesondere die generative KI. Die Technologie kann Produktivität, Innovation und Automatisierung steigern. KI stellt hohe Anforderungen an die IT-Infrastruktur, insbesondere im Hinblick auf wachsende Ressourcenanforderungen und Silos, Infrastruktur- und Plattformbeschränkungen sowie Energieeffizienz, Sicherheit und Datenresilienz. Mit CANCOM und IBM können Unternehmen diese Herausforderungen meistern und von den Chancen profitieren.

Jetzt beraten lassen

KI in Unternehmen einsetzen

KI erfordert einen End-to-End-Ansatz, der schnelle Innovationen und ein integriertes und automatisiertes Betriebsmodell ermöglicht. Eine gesamtheitliche Betrachtung, die von der Datenaufbereitung über das Training und die Validierung von Modellen und die Modellanpassung bis hin zur Bereitstellung von KI reicht, ermöglicht es, schneller Erkenntnisse aus Daten zu gewinnen. Der Fokus liegt dabei auf einer beschleunigten Datenbereitstellung, Datenorganisation und gemeinsamen Datennutzung – effizient, zuverlässig und ausfallsicher. IBM Infrastruktur für KI ermöglicht den schnellen Zugriff auf die richtigen Daten für schnellere KI-Ergebnisse – am richtigen Ort und zur richtigen Zeit.

IBM Storage für KI

IBM Storage Scale End-to-End-Lösung mit NVIDIA – der Turbo für den direkten Zugriff auf KI in Unternehmen: Beispiel für Training und Bereitstellung mit Hybrid Cloud

beispiel_fuer_training_und_bereitstellung_mit_hybrid_cloud

Trainingsvorbereitung

Kostengünstiger Object Speicher dient zur Vorverarbeitung und Sammlung der Daten wie Bild-, Text-, Sprach- und Videodaten. 
IBM® Cloud Object Storage ist eine softwaredefinierte, lokal ausgeführte Speicherlösung. Diese integriert Daten vom Edge, dem Rechenzentrum oder der Cloud und vereinfacht die Verwaltung von Speichern mit Petabyte- oder sogar Exabyte-Umfang. Die enorme Skalierbarkeit sorgt dafür, dass eine schnelle Zunahme unstrukturierter Daten die Speicherkapazität nicht übersteigt.

Modell Training

IBM Storage Scale System Appliance als Basis für das Training des KI Modells: Daten aus Rechenzentrum, Edge und Cloud werden in einer einzigen globalen Datenplattform mit optimierter Performance für GPU-Workloads zusammengeführt. Sie bietet Services für Datenzugriff, Caching, Management und sichert die Resilienz von Daten. Das Storage Scale System steht für hohe Performance, Sicherheit, Konnektivität und Erschwinglichkeit und bietet Multi-Cloud-Support für die freie Wahl bei der Erweiterung des Systems.

Im Zusammenspiel von IBM Storage Scale mit NVIDIA-Lösungen für Künstliche Intelligenz Hardware für KI-Lösungen mit NVIDIA DGX | CANCOM können Unternehmen ihre KI-Innovation mit einer Lösung beschleunigen.

Modell Inferenz

IBM Fusion Hyper Converged Infrastructure (HCI) mit NVIDIA GPUs als Appliance mit Red Hat OpenShift und den IBM watsonx Lösungen bietet die optimale Basis für die on-Premises Bereitstellung des trainierten Modells, welches von Anwendungen über APIs aufgerufen wird.

Vimeo

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von Vimeo.
Mehr erfahren

Video laden

Erfahren Sie im Gespräch zwischen Martin Mayr (Senior Vice President, CANCOM) und Steffen Güntzler (Technology Ecosystem Leader DACH, IBM) mehr über den richtigen Einsatz von Künstlicher Intelligenz in Unternehmen.

Jetzt ansehen

Vorteile von IBM Storage

Aufbrechen von Datensilos

  • Globale Datenplattform mit aktivem Dateimanagement für Datenintegrität, Vermeidung zusätzlicher Datenkopien und gemeinsame Nutzung einer einzigen Datenquelle weltweit.
  • Investitionsschutz durch Vereinheitlichung von Multi-Vendor Storage mit dem Storage Scale System

Optimierung der Speicherung von KI Daten

  • Datenkatalogisierung und Tiering für Wirtschaftlichkeit und Flexibilität
  • Geringe Kosten durch weniger Platz- und Energiebedarf
  • Richtlinienbasierte automatische Verlagerung „kalter Daten“ auf die kostengünstigste Ebene

Schnell zu KI-Ergebnissen

  • Weltweites paralleles Filesystem mit höchster Leistung bei Lese- und Schreibvorgänge sowie Dichte
  • Lineare Skalierbarkeit für zukünftiges Wachstum durch einfachen Bausteinansatz

IBM Server für KI

KI kann den entscheidenden Vorsprung im Geschäftsalltag bringen

Zuverlässige Performance, flexible hybride Nutzung und sichere Erkenntnisse stehen aus Sicht von IBM bei der Verarbeitung von Daten und KI-Workloads im Vordergrund. Der IBM Power Server ist dafür optimiert.

Technische Innovationen der neuesten IBM Power Generation

On-Chip KI Beschleunigung – 4x Matrix Math Accelerator & 8 x Single-Instruction Multiple-Data

Großer Speicher & Cache – TB Hauptspeicher pro Kern

Hochparallel – 4x mehr Threads pro Kern

Enterprise Server Design – niedrigerer CO2 Fußabdruck

IBM Power10 wurde für die Ausführung von KI entwickelt und bietet

  • Effiziente KI-Beschleunigung durch den Einsatz von KI-optimierter Hard- und Software.
    – Ausführung von KI-Modellen auf einer hochleistungsfähigen, nachhaltigen Plattform
    – Vereinfachung der Architektur und erzielen von Kosteneinsparungen
    – Skalierung von KI-Lösungen mit einem spezialisierten Partner-Ökosystem
  • Flexible KI-Orchestrierung durch Erstellung und Ausführung von KI wo und wie sie benötigt wird.
    – Nahtlose Nutzung einer hybriden Cloud-Infrastruktur
    – Flexible Nutzung von Ressourcen
    – Kombination von Unternehmens- und Open Source KI-Software
  • Umfassende Sicherheit für KI und Daten
    – Risikominimierung durch Konvergenz von KI und Daten
    – Sicherung von KI-Workloads auf allen Ebenen des Stacks
    – Schutz der Daten durch beschleunigte Verschlüsselung

IBM-eigene Tests ergaben im Vergleich zu ähnlichen Servern für Inferenz

42 %
mehr Durchsatz für Large Language Models1

39 %
mehr Zugriffe pro Watt2

51 %
niedrigere TCO über drei Jahre2

Die Kombination von IBM Power mit Watsonx für KI ermöglicht folgendes

  • Foundation Modelle sicher ausführen und verwalten
    Die besten Open-Source-Modelle und Software-Technologien nutzen, um einen skalierbaren End-to-End-Workflow aufzubauen.
  • Foundation Modelle mit der watsonx.ai SDK selbst in IBM Power Anwendungen integrieren
    Schnelle Integration von KI in einer sicheren und stabilen Umgebung, in unmittelbarer Nähe zu geschäftskritischen Daten und Transaktionen
  • Watsonx Services in Anwendungen des IBM Ecosystems nutzen
    Schnellere Bereitstellung neuer Services durch die Einbettung von GenAI Funktionen in die genutzten Anwendungen des Ecosystems, z.B. von SAP oder Red Hat
  • Traditionelle Machine Learning (ML) und GenAI Modelle in einem einzigen KI Studio trainieren und auf IBM Power ausführen
    ML Modelle trainieren, optimieren und ausführen mit On-Chip Beschleunigung ohne GPUs
Fünf Gründe für die Ausführung von KI-Workloads auf IBM Power
Zum Download
contact

Jetzt unverbindlich beraten lassen

Wenn Sie uns kontaktieren:
  • Melden wir uns zeitnah bei Ihnen
  • Beraten wir Sie persönlich zu allen Fragen
  • Schneidern wir Ihnen Ihr persönliches Angebot
The email address should contain an '@'character and a valid domain with a period.
Fußnoten

1 Based on IBM internal testing of question and answer inferencing using PrimeQA model (based on Dr. Decr and ColBERT models). Results valid as of Aug 22, 2023, and conducted under laboratory conditions, individual results can vary based on workload size, use of storage subsystems and other conditions. Comparison is based on total throughput in score (inferences) per second on IBM Power S1022 (1×20-core/512GB) versus Intel Xeon Platinum 8468V-based (1×48-core/512GB) systems. Test was run with Python and Anaconda environments including packages of Python 3.9 and PyTorch 2.0. The Python libraries used are platform-optimized for both Power and Intel. Configuration: OMP-NUM-THREADS = 4; batch size = 60. OMP_NUM_THREADS optimized across a variety of load levels.IBM S1022 Power system: https://www.redbooks.ibm.com/abstracts/redp5675.htmlCompared x86 system:Supermicro SYS-221H-TNR system with x86 AME/AMX AI accelerators: https://www.supermicro.com/en/products/system/hyper/2u/sys-221h-tnrPrimeQA models: https://github.com/primeqaModels fine-tuned by IBM on a corpus of IBM-internal data

2 1.Based on IBM internal testing of data science components, (WML, WSL, Analytic Engine) of Cloud Pak for Data version 4.8 in OpenShift 4.12. Results valid as of 11/17/2023 and conducted under laboratory condition. Individual results can vary based on workload size, use of storage subsystems & other conditions.2.The workload mimics a real-time fraud detection logic flow. JMeter is used to submit credit card transactions for different user id and card number combinations. The inferencing application running as microservices in Cloud Pak for Data deployment space extracts the user id and credit card number and uses them to look up 6 previous transactions of the same user and card combination from the Db2 database which is also running within the Cloud Pak for Data cluster. The data retrieved from the database is then combined with the new entry and pass to the LSTM model to determine whether the latest transaction is fraud or not. The score (value between 0 to 1) is returned to the JMeter client as an indicator of whether that transaction is likely a fraud or not.3.The measurement used for both Power and Intel systems is the throughput result (score/second) reported by JMeter, when running 192 current threads (1 thread representing 1 user) against 96 inferencing end points.4.Power10 S1022 has a total of 40 physical cores and 2 TB RAM (machine type 9105-22A). There are 7 LPAR on this system including 3 master nodes of 2 cores and 32 GB RAM each, 3 worker nodes of 10 cores and 490 GB RAM each, and a bastion node of 4 cores 128 GB RAM. A local 800 GB NVME drives are used as boot drives for each node, and one 1.6TB NVMe used for NFS server storage running on the bastion node. There is one 100G Ethernet adapters virtualized through SRIOV, with each LPAR taken 10% of network bandwidth. Each LPAR ran with CPU frequency range 3.20GHz to 4.0GHz. All 3 worker nodes ran in SMT 4 mode, while master and bastion nodes ran in SMT 8 mode.
5.The Intel system is Xeon Platinum 8468V with 96 physical cores and 2 TB RAM. The KVM host takes 2 core and 32 GB RAM, which supports 7 KVM guests on this system, including 3 master nodes of 4 cores and 32 GB RAM each, 3 worker nodes of 24 cores and 490 GB RAM each, and a bastion node of 4 cores 128 GB RAM. Local 1.6 GB NVME drives are used as boot drives for these nodes, and one 1.6TB NVMe used for NFS storage on the bastion node. There is one 100G Ethernet adapters virtualized through SRIOV. Each KVM guest ran with CPU frequency range from 2.40GHz to 3.8GHz. All nodes are RHEL CoreOS KVM guests running on the server with hyperthreading enabled.
Pricing is based on: Power S1022 (see page 4). Typical industry standard Intel x86 (example on page 5) pricing https://www.synnexcorp.com/us/govsolv/pricing/ and IBM software pricing available at https://www.ibm.com/downloads/cas/DLBOWBPK
Assumes energy usage for the Supermicro server is similar to a similarly configured Lenova server (a ThinkSystem SR650 V3) (https://www.supermicro.com/en/products/system/hyper/2u/sys-221h-tnr): , the relative energy usage between Power and x86 system using IDC QPI (https://www.idc.com/about/qpi), is similar for the batch queries workload, and energy usage scales based on the number of batch queries