Welche Hardware brauche ich, um für KI-Anwendungen gerüstet zu sein?

Dieser Artikel soll unseren Kunden dabei helfen, die richtige Hardware für aktuelle und potenziell zukünftige, lokal ausgeführte KI-Anwendungen auszuwählen. „KI“ steht hier für Künstliche Intelligenz, so wie „AI“ für „Artificial Intelligence“. Zusätzliche Hintergrundinformationen mit den technischen Details lokaler KI-Beschleunigung befinden sich in diesem Blog-Beitrag:

• Lokale KI-Beschleunigung in Laptops von XMG und SCHENKER

Welche CPUs sind bereits mit KI-Beschleunigung ausgestattet?

AMD und Intel bieten inzwischen CPUs mit integrierten Neural Processing Units (NPUs). Diese NPUs können KI-Algorithmen lokal schnell und energieeffizient verarbeiten, was auf herkömmlichen CPU-Kernen deutlich länger dauern würde.

In unserem Sortiment enthalten die folgenden CPUs eine solche NPU:

• AMD Ryzen 7 7840HS
• AMD Ryzen 7 8845HS
• Intel Core Ultra 5 125U
• Intel Core Ultra 7 155U
• Intel Core Ultra 5 125H
• Intel Core Ultra 7 155H

(Die Liste enthält auch noch nicht veröffentlichte Produkte auf unserer 2024-Roadmap.)

In welche Ausmaß Drittanbieter-Software diese NPUs nutzen wird, bleibt zunächst ungewiss. Ebenso unklar ist, welcher CPU-Anbieter die bessere Wahl bietet. Zwar kam AMD mit Ryzen AI eher auf den Markt als Intels AI Boost, jedoch könnten Intels langjährige und breitgefächerte Software-Partnerschaften ggf. zu einer schnelleren oder breiteren Adoption von Intels API führen. Es bleibt zu hoffen, dass zukünftige Software herstellerunabhängig entwickelt wird, um auf beiden Plattformen unter Einbeziehung der NPU-APIs beider CPU-Hersteller laufen zu können.

Ist eine dedizierte Grafikkarte für KI notwendig?

Es hängt wirklich davon ab, welche Art von Workloads ausgeführt werden sollen. Falls Gaming, 3D-Rendering und intensives Content Creation keine zentralen Nutzungsszenarien des Gerätes sind, kann man wahrscheinlich auf eine dedizierte Grafikkarte verzichten. Dies gilt besonders, wenn Portabilität und Akkulaufzeit wichtige Faktoren sind. Kommerzielle KI-gesteuerte Dienste wie ChatGPT, Midjourney und Microsofts Co-Pilot werden höchstwahrscheinlich weiterhin in der Cloud verfügbar sein, anstatt auf lokaler Hardware berechnet zu werden. Eine dedizierte Grafikkarte macht hingegen dann Sinn, wenn das System für Entwicklung von KI-Anwendungen gedacht ist oder man nicht-kommerzielle (z.Bsp. open-source) KI-Modelle lokal ausführen möchte.

Welche Rolle spielt der Grafikspeicher einer GPU?

Bei Systemen mit einer dedizierten Grafikkarte sollte bedacht werden, dass die Menge des Grafikspeichers direkt beinflussen kann, welche KI-Algorithmen man lokal ausführen kann – abhängig von der Größe des jeweiligen Modells und den Input-/Output-Parametern (wie Bildauflösung). Plant man also eine recht intensive Nutzung dieser Art, dass ist eine dGPU mit mindestens 12 oder 16 GB Grafikspeicher empfehlenswert.

Kombination von NPU und Grafikkarte

Um ein System absolut zukunftssicher für KI-Nutzung zu machen, wäre es annehmbar, dass eine Kombination aus NPU und GPU das Beste aus beiden Welten bieten würde. Jedoch werden im Jahr 2024 keine Systeme in unserem Portfolio verfügbar sein, in welchen sich eine mit einer NPU-ausgestatteten CPU mit einer der beiden Top-GPUs (RTX 4080/4090) kombinieren lässt.

Die höchste GPU-Kombination in Systemen mit NPUs wird die RTX 4070 (8GB) sein. Die Top-GPUs der RTX 40-Serie werden ausschließlich in Systemen mit Intel Core HX-Serie angeboten, wie dem Intel Core i9-14900HX. Dies ist zwar eine extrem leistungsfähige CPU an und für sich, enthält aber noch keine integrierte NPU.

Welche Rolle spielen NVIDIA-eigene Anwendungen wie „RTX Voice“ oder „Chat with RTX“?

NVIDIA ist auf Hardware-Seite der Vorreiter in Sachen KI-Beschleunigung. Dementsprechend bietet NVIDIA auch eindrucksvolle Anwendungsbeispiele, welche exklusiv für die eigenen Beschleunigerkarten entwickelt wurden. Ob sich allein für diese Dienste aber die Anschaffung einer NVIDIA-Grafikkarte lohnt, hängt erneut davon ab, welche Dienste man genau nutzen möchte und welch andere Verwendung man noch für die Grafikkarte hätte.

• Manche NVIDIA KI-Anwendungen existieren in ähnlicher Form bereits von anderen Anbietern, welche diese entweder auf einer NPU, in der CPU, oder in der Cloud ausführen. Allein für solche Anwendungen muss man nicht unbedingt zu einer NVIDIA-GPU greifen. Hierzu zählen Features wie Rauschunterdrückung (RTX Voice) oder die Unkenntlichmachung des eigenen Webcam-Hintergrundes.
• Andere Anwendungen richten sich an Gamer, Designer oder Industrie-Kunden, welche ohnehin bereits Verwendung für eine NVIDIA-Grafikkarte haben. Hierzu zählen NVIDIA Omniverse, NVIDIA Broadcast und NVIDIA Jarvis.

Die Anwendung „Chat with RTX“ nimmt in dieser Überlegung allerdings eine Sonderrolle ein. Zwar ließe sie sich durch Cloud-basierte Dienste wie ChatGPT problemlos ersetzen. Aber die lokale Ausführung auf der eigenen GPU hat natürlich Vorteile im Datenschutz – und man ist bei intensiver Nutzung auch nicht an bestimmte Prompt-Limits pro Stunde gebunden. Chat with RTX richtet sich dabei gleichermaßen an alltägliche Anwender, als auch (zumindest perspektivisch) an Anwender in Kreativbranche und Industrie. In die gleiche Kerbe schlagen Open-Source-LLMs (Large Language Models), die etwa über „GPT4All“ abrufbar sind.

Möchte man Sprachmodelle und Chatbots lokal ausführen, führt derzeit eigentlich kein Weg am Kauf einer dedizierten Grafikkarte vorbei. Zwar ließen sich lokale LLM-Chatbots perspektivisch auch in den deutlich schlankeren NPUs aktueller CPU-Generationen ausführen, aber dies ist bei den aktuellen NPU-Ausbaustufen momentan noch Zukunftsmusik. Zumindest hat Intel bisher kein „Chat with Intel“ vorgestellt, welches für die NPU in Meteor Lake optimiert ist. Die Ausführung von LLM-Chatbots auf NVIDIA-Grafikkarten ist hingegen schon lang erprobte Realität. Während OpenSource-LLMs einiges an Hintergrundwissen benötigen (welches Sprachmodell passt zu meinem Einsatzzweck und in meinen Grafikspeicher), hat ein extra für NVIDIA-Grafikkarten optimiertes „Chat with RTX“ das Potenzial, die Offline-Nutzung von Chatbots einem breiten Massenpublikum zugänglich zu machen.

Zusammenfassung

Wir möchten die Empfehlungen noch einmal wie folgt zusammenfassen:

• Revolutionäre KI-Anwendungen werden auch weiterhin ohne spezialisierte Hardware nutzbar sein, solange man diese in der Cloud ausführen kann und möchte.
• Für eher kleinteilige, lokale KI-Anwendungen genügt es wahrscheinlich bereits, eine NPU in der CPU zu haben. Hier verbirgt sich noch einiges an Entwicklungspotenzial.
• Für größere KI-Projekte ist eine starke Grafikkarte mit viel Grafikspeicher sinnvoll, sofern diese nicht ohnehin bereits wegen Gaming oder 3D-Bearbeitung im System steckt.
• Die Offline-Nutzung von Chatbots könnte für einige Anwender ein überzeugendes Argument sein, auch ohne Gaming- oder 3D-Ambitionen zu einer NVIDIA-Grafikkarte zu greifen.

Solltest du weiterhin unsicher sein, welche Konfiguration am besten zu deinem Budget und Einsatzzweck passt, beraten wir dich gern. Nimm bitte Kontakt mit uns auf.