Forschung & Entwicklung

Neuronale Hardware im Bildsensor

Ein in einem neuartigen Bildsensor integriertes neuronales Netzwerk ermöglicht eine ultraschnelle Bilderkennung innerhalb von Nanosekunden. Die Technologie eignet sich für die Bilderfassung bei extrem hohen Geschwindigkeiten.

Bisher beruhte die automatische Bilderkennung auf der Auswertung von Bilddaten, wie sie von ganz normalen Kameras geliefert werden – und das ist aufwendig. Insbesondere wenn die Zahl der aufgenommenen Bilder pro Sekunde hoch ist, entsteht rasch eine große Datenmenge. An der TU Wien ging man nun einen anderen Weg: Aus einem 2-D-Material entwickelten Forscher einen Bildsensor, der darauf trainiert werden kann, bestimmte Objekte zu erkennen. Der Chip selbst stellt ein lernfähiges, künstliches neuronales Netz dar. Die Daten müssen also erst gar nicht ausgelesen und von einem Computer verarbeitet werden, sondern der Chip selbst gibt Auskunft darüber, was er gerade sieht – und zwar innerhalb von Nanosekunden.

Typischerweise werden die Bilddaten zuerst Pixel für Pixel ausgelesen und dann am Computer verarbeitet. Die Wissenschaftler hingegen integrieren das neuronale Netz mit künstlicher Intelligenz direkt in die Hardware des Bildsensors. Damit erfolgt die Objekterkennung um viele Größenordnungen schneller als bisher. Der Chip basiert auf Fotodetektoren aus Wolframdiselenid – ein Material, das nur aus drei Atomschichten besteht. Die einzelnen Fotodetektoren, die die Pixel des Kamerasystems bilden, sind alle mit einer kleinen Zahl von Ausgangselementen verbunden, die das Ergebnis der Objekterkennung liefern.

In ihrem Chip können die Wissenschaftler die Empfindlichkeit jedes einzelnen Detektorelements gezielt einstellen – also die Art, wie sich das Signal, das ein bestimmter Detektor aufnimmt, auf das Ausgangssignal auswirkt. Dafür müssen sie ein lokales elektrisches Feld direkt am Fotodetektor anpassen. Diese Anpassung erfolgt von außen, mithilfe eines Computerprogramms. Man kann zum Beispiel mit dem Sensor verschiedene Buchstaben aufnehmen und die Empfindlichkeiten der einzelnen Pixel Schritt für Schritt verändern, bis ein bestimmter Buchstabe immer genau zu einem korrespondierendem Ausgangssignal führt. Ist dieser Lernprozess abgeschlossen, wird der Computer nicht mehr benötigt. Das neuronale Netz kann nun alleine arbeiten. Wird dem Sensor ein bestimmter Buchstabe präsentiert, erzeugt er innerhalb von 50 ns das antrainierte Ausgangssignal – zum Beispiel ein Zahlencode, der für den Buchstaben steht, den der Chip gerade erkannt hat.

Der Testchip ist momentan noch klein, aber man könne die Technologie problemlos hochskalieren, je nachdem, welche Aufgabe man lösen möchte, erklären die Wissenschaftler. Die Technologie ist überall dort einsetzbar, wo extrem hohe Geschwindigkeit gefragt ist: Von der Bruchmechanik bis zur Teilchendetektion. Oft muss man nicht alle Daten über ein Ereignis aufbewahren, sondern eine ganz bestimmte Frage beantworten: Beispielsweise ob sich ein Riss von links nach rechts ausbreitet oder welches von mehreren möglichen Teilchen gerade vorbeigeflogen ist. Für solche Einsatzzwecke sei die Technologie laut den Wissenschaftlern besonders geeignet.

von mg

Originalveröffentlichung:

[L. Menneli et al., Ultrafast machine vision with 2D material neural network image sensors, Nature (2020), DOI: 10.1038/s41586-020-2038-x]

www.tuwien.at

Firmeninformationen
© photonik.de 2020 - Alle Rechte vorbehalten