EmbeddedWorld 2019 – Intel’s openVino Toolkit at #ew19

Künstliche Intelligenz ist der neue Megatrend. Das war auf der embedded world nicht zu übersehen.

Wie Sie in einem separaten Artikel im Detail lesen können: Auf sehr vielen Ständen wurden AI Anwendungen gezeigt, oder es wurden Entwicklungskits vorgestellt.

Deployments

Vermutlich haben aufgrund der wachsenden Popularität von KI Anwendungen schon viele von Ihnen einmal mit Tensorflow oder Theano Modellen herumgespielt, oder ist so mancher von Ihnen noch ernsthafter in KI Technologien eingestiegen.

Dann ist Ihnen nicht neu, daß man dabei schnell auf eine Aufgabenstellung stößt, für das das hier vorgestellte Framework prädestiniert ist. Modelle, die man z.B. in Tensorflow für die Bilderkennung trainiert, müßen später auf irgendeiner Hardware deployed werden, damit Nutzer oder andere Prozesse dann damit arbeiten können. Z.B  spielt man auf dieser Hardware Videos ab, in denen dann z.B. Objekte per KI Modell erkannt werden sollen.

Anforderungen 

Dieses Deployment sollte möglichst so geschehen, daß die hohe Performance der Anwendung sichergestellt wird, und hier unterscheiden sich die Anforderungen der Modellentwicklung von den Anforderungen der Modellausführung. 

Für ein Deployment, daß hohen Performanceanforderungen gerecht wird, ist bei üblichen Modellgrößen im KI Bereich bereits hardwarebasierte Beschleunigertechnologie notwendig oder zumindest sinnvoll, sei es in Form von leistungsfähigen CPUs, oder in Form von GPUs oder, indem man sich der FPGA Technik bedient.

Benutzung

Zwischen Modellentwicklung und der Nutzung liegt also ein Zwischenschritt: das Vorbereiten und Installieren auf einer Zielhardware.  

Für Computer Vision Anwendungen hat Intel hat das freie openVino (TM) Toolkit herausgebracht, das genau hierbei Hilfestellung leistet.

OpenVino füttert man mit seinen trainierten neuronalen Netzen zur Bilderkennung. Die Software „kompiliert“ diese Netze dann und optimiert dieses Kompilat für eine Installation auf der Zielhardware. Das können dann die erwähnten leistungsfähigen Rechner, GPUs oder FPGAs sein. Da diese kompilierten Modelle auf die Hardware optimiert sind, nutzen sie alle Leistungsreserven aus.

Interessant hierbei ist, daß man diese Netzwerke sowohl auf leistungsfähigen FPGAs nutzen kann, als eben auch auf den kleinen Movidus Neural Compute Sticks. Die letztgenannten low-Power und low-Cost Sticks liegen inzwischen in der Version 2.0 vor und können selbst mit der bei Makern beliebten Raspberry PI Hardware unter Linux verwendet werden.

Bei Bedarf kann man statt des Sticks auch eigene PCI Steckkarten bekommen, die man dann in größere Gehäuse einbauen kann, So kann man z.B. Szenarien zur Zustandserkennung von Maschinen implementieren, die direkt an der Maschine laufen.

Es ist über das Tool grundsätzlich möglich, KI Anwendungen für „on the Edge“ Verwendung zu erstellen, ohne sich finanziell zu weit aus dem Fenster lehnen zu müssen, indem man große Beschleunigerkarten bereits in der Entwicklungsphase kaufen muss.

Anwendungen

Am Intel Stand wurden unterschiedliche Use Cases für openVino gezeigt. Beispielsweise sah man medizinische Anwendungen, die das Erkennen von bestimmten Leukämieerkrankungen mit Hilfe von neuronalen Netzen auf Basis des Raspberry PI demonstriert haben. Andere Anwendungen waren die Objekterkennung im Bereich der intelligenten Fertigung oder das zustandsorientierte Monitoring von Produktionsmaschinen. 

Einarbeitung

Wer sich ohne großen Aufwand in den Workflow einarbeiten will, kann sich von den entsprechenden Intel Websites vortrainierte Modelle herunterladen, und diese mit Hilfe des kostenlosen openVino Toolkits testweise auf einer preiswerten Zielplattform installieren (z.B. Neutral Stick + Raspberry), um so die Möglichkeiten auszuloten, die ein solches Modell bietet. 

Mit ein wenig mehr Aufwand ist sogar denkbar, den openVino Workflow zu verwenden, um Prototypen in Kundenworkshops o.ä zu entwickeln. Vortrainierte Modelle existieren für unterschiedliche Anwendungen. Seien es Modelle, die auf die Fahrzeugerkennung in Videos spezialisiert sind, oder seien es die verschiedenen Modelle zur Personen- und Gesichtserkennung.

Weiterführende Informationen

Das Original dieses Artikels ist auf Der Produktmanager erschienen (©Andreas Rudolph). Folgeartikel zum Thema gibt es über die (→Mailingliste), oder indem Sie →mir auf Twitter folgen.

Quelle für das Artikelfoto: NuernbergMesse/Frank Boxler
Nutzung entsprechend der Regelungen für Pressearbeit zur Messe.

In der Online Version des Artikels finden Sie hier die versprochenen weiterführenden Links:

Comments are closed.