Die richtige Hardware für Edge-KI auswählen: Von der Idee bis zur Umsetzung

Die Auswahl der richtigen Hardwareplattform bildet die Grundlage für Leistung, Skalierbarkeit, Zertifizierung und Lebenszykluskosten. Eine falsche Wahl kann ein Produkt an ein bestimmtes Ökosystem binden oder dessen Markteinführung um Monate verzögern.

Bei eingebetteter KI ist mehr Rechenleistung nicht immer besser. Die wahre Leistung liegt in der Leistung pro Watt, also darin, wie effizient ein Gerät Energie in Inferenzleistung umwandelt.

Bei lüfterlosen, batteriebetriebenen oder größenbeschränkten Systemen entscheidet oft die Effizienz über den Erfolg des Produkts. TOPS (Tera Operations Per Second) wird zwar häufig als Maßstab für die Leistung angeführt, ist jedoch ohne Berücksichtigung der Leistung eine irreführende Kennzahl. Bei eingebetteten KI-Systemen ist die Leistung pro Watt das wahre Maß für die Effizienz, da sie die Rechenleistung gegen Energie-, Wärme- und Größenbeschränkungen abwägt. Moderne Plattformen wie Hailo oder Lattice erreichen eine außergewöhnliche Effizienz durch speziell für die Edge-Inferenz entwickelte Architekturen.

Etteplan hilft Kunden dabei, Architekturen auf der Grundlage der Leistung pro Watt zu vergleichen, um sicherzustellen, dass jedes Design das bestmögliche Gleichgewicht zwischen Leistung, Kosten und Zuverlässigkeit erreicht.

Jedes KI-Gerät hat einzigartige Anforderungen an Rechenleistung, Speicher, Konnektivität und Umgebungstoleranz. Wenn diese nicht aufeinander abgestimmt sind, können selbst die fortschrittlichsten Algorithmen eine unterdurchschnittliche Leistung erbringen. Frühe Hardware-Entscheidungen wirken sich direkt auf die Zertifizierung, Skalierbarkeit und Lebenszykluskosten aus. [Entdecken: Sichere Edge-KI gemäß dem EU-KI-Gesetz: Was Produktteams jetzt tun müssen]

Zu den wichtigsten zu berücksichtigenden Faktoren gehören:

Viele Teams beginnen mit der KI-Entwicklung, ohne ein klares Endziel zu haben. Marko merkt an, dass einige Unternehmen Plattformen wie NVIDIA Jetson nur deshalb wählen, weil sie beliebt sind, und nicht, weil sie für die jeweilige Arbeitslast geeignet sind. Dies führt häufig zu einer Bindung an einen bestimmten Anbieter, zu überhöhten Ausgaben oder zu Hardware, die nicht skalierbar ist.

Ein weiteres häufiges Problem sind unklare Anforderungen. Teams stürzen sich in die Prototypenentwicklung, bevor sie definiert haben, ob das Gerät Echtzeit-Inferenz durchführen, offline arbeiten oder sicherheitskritische Standards erfüllen muss.

Die Auswahl der richtigen Hardware beginnt damit, dass Sie verstehen, was jeder Prozessortyp für Ihre Anwendung leisten kann. Die meisten realen Systeme verwenden Kombinationen dieser Prozessoren, beispielsweise eine MPU für allgemeine Rechenaufgaben, eine GPU für parallele Workloads und eine NPU für die Beschleunigung neuronaler Inferenz. In vielen Fällen sind diese aus Gründen der Kompaktheit und Energieeffizienz in einem einzigen System-on-Chip (SoC) integriert.

Sobald die Prozessorlandschaft klar ist, besteht der nächste Schritt darin, jeden Hardwaretyp Ihren spezifischen Daten- und Anwendungsanforderungen zuzuordnen. Nicht alle KI-Workloads erfordern dedizierte Beschleuniger. Ekkono und andere leichtgewichtige Modelle ermöglichen Echtzeit-Inferenz für einfache Signale und sogar grundlegende Bildverarbeitungsaufgaben auf MCUs oder SoCs. Hardwarebeschleunigung ist nur für anspruchsvollere Aufgaben mit hohem Durchsatz oder geringer Latenz erforderlich (z. B. Multi-Kamera-Analysen, komplexe Bildverarbeitung).

Diese Hardware-Stufen veranschaulichen, wie sich verschiedene Architekturen hinsichtlich Datenkomplexität, Energiebudget und Leistungszielen skalieren lassen.

Verschiedene Branchen erfordern unterschiedliche Hardware-Leistungsstufen:

Während die vorherige Tabelle gängige Hardware-Stufen nach Anwendung auflistet, bietet diese Tabelle einen ergänzenden Überblick über Datenkompatibilität und Verarbeitungsleistung.

Obwohl jedes Projekt einzigartig ist, bietet diese Matrix eine allgemeine Referenz für die Abstimmung von Workloads und Hardware. Da sich die KI-Hardware rasant weiterentwickelt, werden sich diese Klassifizierungen auch weiterhin verändern, sodass frühzeitige Machbarkeitstests unerlässlich sind.

Etteplan arbeitet praxisorientiert mit NVIDIA Jetson für GPU-Beschleunigung, Intel OpenVINO für portable Inferenz auf CPUs, iGPUs und VPUs, STM32 für extrem stromsparendes TinyML, Hailo NPUs für hocheffiziente Bildverarbeitungs-Workloads und Alif Semiconductor für batteriefreundliche Always-On-Sensorik. Diese Bandbreite ermöglicht es uns, Plattformen hinsichtlich Leistung pro Watt, Wärmeentwicklung, Auswirkungen auf die Stückliste (BOM), Reife der Toolchain und Lebenszyklus-Support zu benchmarken, um sicherzustellen, dass jede Architektur dem Zweck des Produkts und nicht dem Trend entspricht.

Etteplan unterstützt Kunden bei der Analyse von Datentypen, Rechenanforderungen und Zertifizierungspfaden, um für jeden Anwendungsfall die richtige Architektur zu finden und so skalierbare, konforme und zukunftsfähige Designs zu gewährleisten.

Sobald die richtige Hardwarearchitektur identifiziert wurde, besteht die nächste Herausforderung darin, einen Prototyp zu erstellen und diesen effizient zu skalieren. Der Übergang von Entwicklungsplatinen zu produktionsreifen Modulen erfordert ein ausgewogenes Verhältnis zwischen Geschwindigkeit, Zertifizierung und Kosten. Im nächsten Abschnitt wird erläutert, wie System-on-Modules (SOMs) und kundenspezifische Hardware-Designs Produktteams dabei helfen, getestete KI-Konzepte in fertigungsreife Lösungen umzusetzen.

Ein praktischer Weg zur Umsetzung umfasst drei Stufen:

Dieser schrittweise Ansatz minimiert Nacharbeiten und ermöglicht es Teams, die Leistung frühzeitig zu validieren und sicher zu skalieren. Der skizzierte Weg eignet sich zwar für anspruchsvollere Edge-AI-Anwendungsfälle, aber nicht jede KI-Workload erfordert eine spezielle Hardwarebeschleunigung. Viele praktische Edge-Anwendungen wie Anomalieerkennung, Sensorfusion oder schwellenwertbasierte Überwachung laufen effizient auf Standard-CPUs ohne dedizierte GPUs oder NPUs.

Etteplan hilft Kunden dabei zu beurteilen, wann eine einfache CPU-Inferenz ausreicht und wann der Umstieg auf beschleunigte Hardware einen messbaren Mehrwert bringt.

Vorab zertifizierte Module verkürzen die Markteinführungszeit, erhöhen jedoch die Stückkosten. Kundenspezifische Platinen senken die langfristigen Kosten, verlängern jedoch die Validierungszyklen. Etteplan hilft Kunden dabei, den optimalen Kompromiss zwischen Geschwindigkeit und Skalierbarkeit zu finden, und berät sie dabei, wann sie in kundenspezifische Designs investieren und wann sie auf Standardlösungen zurückgreifen sollten.

Die Auswahl der Hardware steht auch im Zusammenhang mit bevorstehenden EU-Vorschriften wie dem Cyber Resilience Act und dem AI Act, die selbst auf Hardware-Ebene die Prinzipien des Secure-by-Design betonen. [Erfahren Sie mehr über Sichere Edge-KI gemäß dem EU-KI-Gesetz: Was Produktteams jetzt tun müssen (Wird in neuem Fenster geöffnet)]

Etteplan schließt die Lücke zwischen eingebetteter Hardware und künstlicher Intelligenz. Wir helfen unseren Kunden bei der Validierung von Hardwarearchitekturen durch frühzeitiges Prototyping, wobei wir allgemeine Entwicklungsboards zum Testen von Algorithmen verwenden, bevor wir zu optimierten, maßgeschneiderten Designs übergehen.

Von der Konzeption und Machbarkeit bis hin zur zertifizierten Bereitstellung und zum Lebenszyklusmanagement stimmen unsere Experten jedes Projekt auf die Ziele in Bezug auf Sicherheit, Kosten und Leistung ab. Etteplan agiert als technologieunabhängiger Berater und bringt umfassende Erfahrung mit Hardware-Familien, Ökosystemen und SDKs mit. „Wir verfügen über ein umfassendes Verständnis der verfügbaren Anbieter und KI-Systeme. Wir können bereits vorhandene Systeme vorschlagen oder Kunden Empfehlungen für das weitere Vorgehen geben“, sagt Marko.

Der Support von Etteplan umfasst:

Die Partnerschaften von Etteplan mit NVIDIA, Intel und STMicroelectronics sowie die Zusammenarbeit mit Softwarespezialisten wie Ekkono ermöglichen ausgewogene Lösungen, die KI-Leistung, Sicherheit und Compliance miteinander verbinden.

Die Auswahl der Hardware für KI ist ebenso eine geschäftliche wie eine technische Entscheidung. Dies ist ein strukturierter Rahmen, der Forschungs- und Entwicklungsteams dabei hilft, frühzeitig fundierte Entscheidungen zu treffen:

Weitere Bewertungsfaktoren sind:

Dieser strukturierte Ansatz stellt sicher, dass die ausgewählte Hardware sowohl den technischen Zielen als auch den geschäftlichen Anforderungen entspricht.

Hardware-Design ist keine einmalige Angelegenheit mehr. Mit der Weiterentwicklung der KI-Fähigkeiten müssen Produkte anpassungsfähig bleiben und in der Lage sein, Firmware zu aktualisieren, Module zu upgraden und neue Beschleuniger zu integrieren, ohne dass größere Neukonstruktionen erforderlich sind. Die Reife des umgebenden Ökosystems, sei es SDKs (Software Development Kit), Compiler oder Entwicklungstools, bestimmt, wie schnell und zuverlässig ein KI-Modell in Produktion befindliche Geräte erreichen kann.

Embedded AI entwickelt sich über die Ein-Aufgaben-Inferenz hinaus zu fortschrittlicheren Funktionen. Zu den neuen Trends gehören multimodale Verarbeitung, die Kombination von Bild, Ton und Text sowie erste Experimente mit leichter generativer KI für Geräte mit eingeschränkten Ressourcen. Diese Funktionen werden zwar nicht in jedem Produkt zusammen vorkommen, aber modulare Hardware und ausgereifte Ökosysteme werden den Herstellern helfen, sie mit fortschreitender Technologie selektiv einzusetzen. [Mehr lesen: KI-gestützte Produkte: Unternehmen dabei helfen, Intelligenz in Wert umzuwandeln (Wird in neuem Fenster geöffnet)]

Etteplan unterstützt Unternehmen dabei, nicht nur die Markteinführung, sondern auch die Weiterentwicklung zu planen. Durch die Kombination von Embedded Engineering, KI-Architektur und regulatorischem Fachwissen stellen wir sicher, dass Geräte während ihres gesamten Lebenszyklus sicher, konform und leistungsstark bleiben.

Die KI-Hardware-Landschaft entwickelt sich rasant weiter, wobei jedes Ökosystem einzigartige Stärken bietet: 

Wir bewerten jede Plattform hinsichtlich SDK-Reife, Toolchain-Stabilität und Entwicklerunterstützung. Beispielsweise bieten NVIDIA JetPack, Intel OpenVINO und STM32Cube AI vollständige Toolchains für die Modelloptimierung und -bereitstellung, während Hailo und Qualcomm bei der AI-Beschleunigung mit extrem niedrigem Stromverbrauch führend sind. Die Auswahl von Hardware mit dem richtigen Ökosystem verkürzt die Integrationszeit, reduziert das technische Risiko und beschleunigt den Markterfolg.

Etteplan unterstützt seine Kunden bei der Vorbereitung auf diese Zukunft, indem es modulare, aufrüstbare Hardwarearchitekturen entwickelt, die sich an die Weiterentwicklung der KI-Workloads anpassen. Durch die Kombination von Embedded-Design, KI-Architektur und Lebenszyklusplanung stellt Etteplan sicher, dass die Geräte von heute für die Intelligenz von morgen gerüstet sind.

Der Erfolg jedes Edge-KI-Produkts hängt davon ab, dass die Hardware vom ersten Tag an die richtige Balance zwischen Leistung, Kosten und Compliance bietet. Mit dem umfassenden Know-how von Etteplan, das von der Anforderungsdefinition bis zur zertifizierten Bereitstellung reicht, können Unternehmen kostspielige Neukonstruktionen vermeiden, den Markteintritt beschleunigen und langlebige KI-Geräte entwickeln.

Unser AI-Hardware-Beratungsteam stellt sicher, dass jedes Design konform, zukunftssicher und auf die sich weiterentwickelnden Industriestandards abgestimmt ist.

Vereinbaren Sie eine Hardware-Auswahlberatung mit Etteplan, um einen maßgeschneiderten Vergleich von AI-Plattformen für Ihr Produkt zu erhalten.