KI-Lösungen.

AMD bringt KI für Cloud, Edge und Endpunkte voran.

Die Vorteile von KI allgegenwärtig machen.

KI definiert die nächste Ära des Computings – und das ist nur der Anfang. Wir erleben die Vorteile von KI jeden Tag – sie ermöglicht medizinische Forschung, das Eindämmen von Kreditkartenbetrug, die Reduzierung von Staus in Städten oder erleichtert einfach nur das tägliche Leben.

Das volle Potenzial von KI kann ausgeschöpft werden, wenn die Technologie allgegenwärtig ist und sich über die Cloud zum Edge bis hin zu den Endpunkten erstreckt. AMD unterstützt diesen Ansatz und konzentriert sich dabei auf drei Hauptbereiche.

KI-Architekturen.

AMD Produkte basieren auf skalierbaren, energieeffizienten und anpassbaren Architekturen für Auslastungen, die von Trainings großer KI-Modelle bis hin zu Echtzeit-Inferenz reichen.

Die AMD CDNA™-Architektur soll rechenintensive KI- und HPC-Auslastungen beschleunigen und bietet dazu eine fortschrittliche Plattform für eng miteinander verbundene GPU-Systeme, die Daten schnell und effizient austauschen können. 

AMD XDNA™ ist eine NPU-Architektur mit räumlichem Datenfluss und besteht aus einer kachelartigen Reihe leistungsstarker, benutzerdefinierter KI-Engines, die High-Computing-Dichte ermöglicht – ideal für DNN- und Signalverarbeitungsauslastungen.

Der „Zen“-Architektur von AMD liegen AMD Ryzen™ Prozessoren und AMD EPYC™ Server-Prozessoren zugrunde. Sie bietet ultimative Performance, Skalierbarkeit und Effizienz.

Die AMD RDNA™ Architektur verfügt über KI-Beschleuniger, die unglaubliche Performance, Effizienz und Funktionen für Gamer auf Desktop-PCs, Notebooks, Spielekonsolen, Mobilgeräten und in der Cloud liefern. 

Im Fokus:

Oft benötigt KI keine Echtzeitergebnisse.

Moderne CPUs können kleine bis mittlere KI-Inferenzauslastungen mit einer Latenz von weniger als einer Sekunde ausführen. Wenn KI-Inferenzauslastungen wachsen oder die Reaktionszeiten kürzer werden, müssen möglicherweise diskrete Beschleuniger hinzufügt werden.

Wenn KI-Auslastungen ansteigen, werden GPUs immer kostengünstiger.

CPUs allein können gemischte Unternehmensauslastungen und KI unterstützen. Wenn Modellgröße, Komplexität und Volumen ansteigen, können GPU-Cluster mehr Performance pro Euro bieten.

Unterschiedliche Modelle haben einzigartige Verarbeitungsanforderungen.

Maschinelles Lernen, Grafikverarbeitung und statistische Methoden werden auf CPUs außergewöhnlich gut ausgeführt. Kleine bis mittlere Large Language Models (LLMs) funktionieren gut auf den neuesten CPUs. Größere Modelle können einen deutlichen Nutzen aus KI-Beschleunigern ziehen.

AMD EPYC^TM  CPUs brillieren mit KI für Unternehmen.

AMD EPYC^TM CPUs der 5. Generation bieten wichtige Performance-Verbesserungen für KI-Auslastungen:

• Bis zu 3,8-facher Durchsatz für End-to-End-KI im Vergleich zu CPUs der Konkurrenz¹

• Bis zu 90 % schnellerer Durchsatz auf Llama 3.1 8B bei BF16 im Vergleich zu CPUs der Konkurrenz²

• Bis zu 86 % schnellere Facebook AI Similarity Search (FAISS) im Vergleich zu EPYCTM CPUs der vorherigen Generation³

AMD EPYC™ CPUs der 5. Generation: Die beste CPU für Unternehmens-KI.

Zu den Produkten

^{1. TPCxAI @SF30 Multi-Instanz mit 32 Kernen Instanzgröße-Durchsatzergebnisse basierend auf internen Tests von AMD vom 05.09.2024 bei Ausführung mehrerer VM-Instanzen. Der aggregierte durchgängige KI-Durchsatztest ist vom TPCx-AI-Benchmark abgeleitet und als solcher nicht mit den veröffentlichten TPCx-AI-Ergebnissen vergleichbar, da die Ergebnisse des durchgängigen KI-Durchsatztests nicht der TPCx-AISpezifikation entsprechen. 2P AMD EPYC 9965 (384 Kerne gesamt), 12 Instanzen mit 32 Kernen, NPS1, 1,5 TB 24 x 64 GB DDR5-6400 (bei 6000 MT/s), 1 DPC, 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT = off, Determinism = Power, Turbo Boost = Enabled) 2P AMD EPYC 9755 (256 Kerne gesamt), 8 Instanzen mit 32 Kernen, NPS1, 1,5 TB 24 x 64 GB DDR5-6400 (bei 6000 MT/s), 1 DPC, 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT = off, Determinism = Power, Turbo Boost = Enabled) 2P AMD EPYC 9654 (192 Kerne gesamt) 6 Instanzen mit 32 Kernen, NPS1, 1,5 TB 24 x 64 GB DDR5-4800, 1 DPC, 2 x 1,92 TB Samsung MZQL21T9HCJR-00A07 NVMe, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT = off, Determinism = Power) im Vergleich zu 2P Xeon Platinum 8592+ (128 Kerne gesamt), 4 Instanzen mit 32 Kernen, AMX Ein, 1 TB 16 x 64 GB DDR5-5600, 1 DPC, 1,0 Gbit/s NetXtreme BCM5719 Gigabit Ethernet PCIe, 3.84 TB KIOXIA KCMYXRUG3T84 NVMe, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT = off, Determinism = Power, Turbo Boost = Enabled) Ergebnisse: CPU Medianwert Relativer Wert Generationenvergleich Turin 192 Kerne, 12 Instanzen 6067,531 3,775 2,278 Turin 128 Kerne, 8 Instanzen 4091,85 2,546 1,536 Genoa 96 Kerne, 6 Instanzen 2663,14 1,657 1 EMR 64 Kerne, 4 Instanzen 1607,417 1 k. A. Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren. TPC, TPC Benchmark und TPC-C sind Marken des Transaction Processing Performance Council. (9xx5-012)}

^{2. Llama3.1-8B-Durchsatzergebnisse basierend auf internen Tests von AMD vom 05.09.2024. Llama3-8B-Konfigurationen: IPEX.LLM 2.4.0, NPS = 2, BF16, Batch-Größe 4, Eingabe-/Ausgabe-Token-Konfigurationen (Anwendungsfälle): [Zusammenfassung = 1024/128, Chatbot = 128/128, Übersetzung = 1024/1024, Essay = 128/1024, Beschriftung = 16/16]. 2P AMD EPYC 9965 (384 Kerne gesamt), 6 Instanzen mit 64 Kernen, 1,5 TB 24 x 64 GB DDR5-6400 (bei 6000 MT/s), 1 DPC, 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.3 LTS, 6.8.0-40-generic (tunedadm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C, (SMT = off, Determinism = Power, Turbo Boost = Enabled), NPS = 2 2P AMD EPYC 9755 (256 Kerne gesamt), 4 Instanzen mit 64 Kernen, 1,5 TB 24 x 64 GB DDR5-6400 (bei 6000 MT/s), 1 DPC, 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.3 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit - l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT = off, Determinism = Power, Turbo Boost = Enabled), NPS = 2 2P AMD EPYC 9654 (192 Kerne gesamt) 4 Instanzen mit 48 Kernen, 1,5 TB 24 x 64 GB DDR5-4800, 1 DPC, 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 5.15.85-051585-generic (tuned-adm profile throughput-performance, ulimit -l 1198117616, ulimit -n 500000, ulimit -s 8192), BIOS RVI1008C (SMT = off, Determinism = Power, Turbo Boost = Enabled), NPS = 2 im Vergleich zu 2P Xeon Platinum 8592+ (128 Kerne gesamt), 2 Instanzen mit 64 Kernen, AMX Ein, 1 TB 16 x 64 GB DDR5-5600, 1 DPC, 1,0 Gbit/s NetXtreme BCM5719 Gigabit Ethernet PCIe, 3,84 TB KIOXIA KCMYXRUG3T84 NVMe®, Ubuntu 22.04.4 LTS 6.5.0-35-generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT = off, Determinism = Power, Turbo Boost = Enabled). Ergebnisse: CPU 2P EMR 64 Kerne 2P Turin 192 Kerne 2P Turin 128 Kerne 2P Genoa 96 Kerne Durchschnitt Aggregiert Medianwert Gesamtdurchsatz 99,474 193,267 182,595 138,978 Konkurrenz 1 1,943 1,836 1.397 Generationenvergleich k. A. 1,391 1,314 1. Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren. (9xx5-009)}

 ^{3. FAISS (Anfragen/Stunde) Durchsatzergebnisse basierend auf internen Tests von AMD vom 05.09.2024. FAISS-Konfigurationen: sift1m-Datensatz, Instanzen mit 16 Kernen, FP32, MKL 2024.2.1 2P AMD EPYC 9965 (384 Kerne gesamt), 24 Instanzen mit 16 Kernen, 1,5 TB 24 x 64 GB DDR5-6400 (bei 6000 MT/s), 1 DPC, 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT = off, Determinism = Power, Turbo Boost = Enabled), NPS = 4 2P AMD EPYC 9654 (192 Kerne gesamt) 12 Instanzen mit 16 Kernen, 1,5 TB 24 x 64 GB DDR5-4800, 1 DPC, 2 x 1,92 TB Samsung MZQL21T9HCJR-00A07 NVMe, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT = off, Determinism = Power), NPS = 4 im Vergleich zu 2P Xeon Platinum 8592+ (128 Kerne gesamt), 8 Instanzen mit 16 Kernen, AMX Ein, 1 TB 16 x 64 GB DDR5-5600, 1 DPC, 1,0 Gbit/s NetXtreme BCM5719 Gigabit Ethernet PCIe, 3,84 TB KIOXIA KCMYXRUG3T84 NVMe, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT = off, Determinism = Power, Turbo Boost = Enabled) Ergebnisse: CPU Medianwert Relativer Wert Durchsatz Generationenvergleich 2P Turin 192 Kerne 64,2 3,776 1,861 2P Genoa 96 Kerne 34,5 2,029 1 2P EMR 64 Kerne 17 1 k. A. Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren. (9xx5-011)}