Die Sony Semiconductor Solutions Corporation („Sony“) kündigte heute die bevorstehende Einführung von zwei ereignisbasierten Stacked (gestapelten) Vision-Sensoren an. Diese für Industrieausrüstung konzipierten Sensoren sind in der Lage, ausschließlich Motivveränderungen zu erkennen, und bieten die branchenweit kleinste Pixelgröße von 4,86 μm.
Ereignisbasierte Vision-Sensoren erkennen asynchron Veränderungen der Leuchtdichte für jedes Pixel, geben nur die geänderten Daten aus und kombinieren diese mit Informationen zur Pixelposition (xy-Koordinaten) und Zeit. Dies ermöglicht eine schnelle Datenausgabe mit geringer Latenz.
Die beiden neuen Sensoren IMX636 und IMX637 nutzen die Stacking-Technologie mit den proprietären Cu-Cu-Verbindungen von Sony, um die branchenweit kleinste1 Pixelgröße von 4,86 μm zu erzielen. Beide Sensoren haben einen geringen Stromverbrauch und liefern Daten mit hoher Geschwindigkeit, niedriger Latenz und hoher zeitlicher Auflösung. Zugleich bieten sie eine für ihre geringe Größe überraschend hohe Bildauflösung. All diese Vorteile wirken zusammen, um eine sofortige Erkennung sich bewegender Objekte in unterschiedlichen Umgebungen und Situationen zu gewährleisten.
Die beiden Sensoren wurden durch eine Kooperation zwischen Sony und Prophesee realisiert, bei der die CMOS-Bildsensortechnologie von Sony mit der einzigartigen ereignisbasierten Vision-Sensortechnologie von Prophesee kombiniert wurde. Dies ermöglicht eine Datenerfassung in Hochgeschwindigkeit und hoher Präzision und trägt dazu bei, die Produktivität von Industrieanlagen zu verbessern.
Bezeichnung:
Ereignisbasierter Stacked Vision-Sensor IMX636, 1/2,5″ (Diagonale 7,137 mm), ca.
0,92 effektive Megapixel
Ereignisbasierter Stacked Vision-Sensor IMX637, 1/4,5″ (Diagonale 3,983 mm), ca.
0,33 effektive Megapixel
Musterauslieferung (voraussichtlich):
Oktober 2021
Angesichts der immer anspruchsvolleren und vielfältigeren Anforderungen im Industrieausrüstungssektor werden vermehrt Sensoren eingesetzt, um aus Kamerabildern die benötigten Informationen zu extrahieren. Dazu ist eine immer effizientere Datenerfassung nötig.
Bei der üblicherweise verwendeten Frame-basierten Methode wird in bestimmten, durch die Bildrate festgelegten Intervallen das gesamte Bild ausgegeben. Die neuen Sensoren von Sony wenden dagegen eine ereignisbasierte Methode an, bei der Änderungen der Pixel-Leuchtdichte asynchron erkannt und die entsprechenden Daten mit Informationen zur Pixelposition (xy-Koordinaten) und Zeit ausgegeben werden. Die Sensoren haben eine proprietäre gestapelte Struktur, bei der die elektrische Leitung zwischen dem Pixelchip und dem Logikchip über eine Cu-Cu-Verbindung hergestellt wird. Mithilfe einer Signalverarbeitungsschaltung werden Änderungen der Leuchtdichte für jedes Pixel ermittelt. Dank dieses Designs können nur diejenigen Pixel Daten ausgeben, die eine Änderung der Leuchtdichte beim Objekt erkennen lassen. So kann der Sensor die Leuchtdichteveränderungen sofort mit hoher Geschwindigkeit, geringer Latenz und hoher zeitlicher Auflösung erfassen und verbraucht dabei nur wenig Strom. Gleichzeitig zeichnet sich dieses Design durch die branchenweit kleinste Pixelgröße von 4,86 μm aus, was zu einem sehr kompakten, hochauflösenden Sensor führt.
Die neuen Sensoren können geringfügige Vibrationsänderungen erfassen und so auf Anomalien hinweisen, die für die vorausschauende Wartung von Anlagen wichtig sind. Sie erkennen auch Veränderungen in den Funken, die beim Schweißen und Spanen von Metall erzeugt werden – Informationen, die sich unter anderem nutzen lassen, um die Arbeiter über den optimalen Zeitpunkt für einen Werkzeugwechsel zu verständigen. Ebenso können die Produkte zu Produktionsverbesserungen bei verschiedenen Anwendungen beitragen, mit denen Frame-basierte Bildsensoren Schwierigkeiten haben, und Arbeitsprozesse erleichtern, für die menschliche Erfahrung benötigt wird.
Hauptmerkmale
Kompaktes Design mit hoher Auflösung, ermöglicht durch die branchenweit kleinste1 Pixelgröße von 4,86 μm
Die neuen Sensoren verfügen über eine proprietäre Stacking-Struktur mit einer Cu-Cu-Verbindung für die elektrische Leitung zwischen dem Pixelchip und dem Logikchip. Mithilfe einer Signalverarbeitungsschaltung werden Änderungen der Leuchtdichte für jedes Pixel ermittelt. Die Pixeleinheit und die Signalverarbeitungsschaltung befinden sich normalerweise auf derselben Platine. Bei diesen Produkten wird jedoch durch die einzigartige Struktur die branchenweit kleinste1 Pixelgröße von 4,86 μm erreicht, während gleichzeitig ein hohes Öffnungsverhältnis4 für die Pixeleinheit erhalten bleibt. Dieses Design bietet sowohl einen kompakten Formfaktor als auch eine hohe Auflösung und ermöglicht eine hochpräzise Erkennung.
Extraktion der Ereignisdaten in Hochgeschwindigkeit mit niedriger Latenz und hoher Zeitauflösung bei geringem Stromverbrauch
Dank der proprietären gestapelten Konstruktion konnte Sony ein ereignisbasiertes Verfahren wählen, das asynchron Veränderungen der Leuchtdichte von Pixeln erkennt und die Daten samt Informationen zur Pixelposition (xy-Koordinaten) und Zeit ausgibt. Anders als bei der Frame-basierten Methode brauchen die Sensoren also nur die erforderlichen Daten auszulesen. Das senkt den Stromverbrauch und gewährleistet gleichzeitig eine hohe Geschwindigkeit im Mikrosekundenbereich und eine niedrige Latenz. Dadurch ist eine Ausgabe mit hoher zeitlicher Auflösung möglich.
Ereignisfilterung für optimierte Informationserfassung
Die Sensoren sind mit von Prophesee entwickelten Ereignisfilterfunktionen ausgestattet, die überflüssige Ereignisdaten eliminieren, wodurch sie für verschiedene Anwendungen geeignet sind. Mithilfe dieser Filter lassen sich Ereignisse entfernen, die für die jeweilige Erkennungsaufgabe nicht benötigt werden, wie etwa das LED-Flackern, das bei bestimmten Frequenzen auftreten kann (Anti-Flicker), ebenso wie Ereignisse, bei denen es sehr unwahrscheinlich ist, dass es sich um den Umriss eines beweglichen Objekts handelt (Ereignisfilter). Außerdem kann mit den Filtern bei Bedarf die Datenmenge so reguliert werden, dass die Zahl von Ereignissen nicht überschritten wird, die nachgeschaltete Systeme verarbeiten können (Ereignisratenkontrolle).
Im Rahmen der Kooperation von Sony und Prophesee bei diesen Produkten ist bei Prophesee die Metavision Intelligence Suite erhältlich, eine auf Sensorleistung optimierte Software zur Verarbeitung von Ereignissignalen. Die Kombination aus den ereignisbasierten Vision-Sensoren von Sony und dieser Software ermöglicht eine effiziente Anwendungsentwicklung und bietet Lösungen für verschiedene Use Cases.
Technische Daten
Bezeichnung: IMX636; IMX637
Effektive Pixel: Ca. 0,92 Megapixel (1280 × 720 [H × V]); Ca. 0,33 Megapixel (640 × 512 [H × V])
Elementarzellengröße: 4,86 μm × 4,86 μm
Array-Größe: Diagonale 7,137 mm (1/2,5″); Diagonale 3,983 mm (1/4,5″)
Farbfilter: Schwarzweiß
Gehäuse: Keramisches LGA-Gehäuse (Außenseite: 13 × 13 mm)
Stromversorgung: Analog 3,0 V, Digital 1,1 V, Schnittstelle 1,8 V
Nominale Kontrastschwelle (ln): 25 %
Latenzzeit:
ROI:
Weniger als 100 Mikrosekunden bei 1 Klux
Weniger als 1000 Mikrosekunden bei 5 Lux
Ausgedünnte Auslesung7:
Weniger als 220 Mikrosekunden bei 1 Klux
Weniger als 1000 Mikrosekunden bei 5 Lux
Maximale Ereignisrate: 1,06 Geps (Giga-Ereignisse pro Sekunde)
Dynamikbereich: 86 dB oder mehr (5-100.000 Lux)8
Hintergrundrate: 0,1 Hz @ 1 Klux / 10 Hz @ 5 Lux
Schnittstelle:
Eingang: I2C (400 kHz / 1 Mhz), 4-adrige SPI
Ausgang: MIPI D-PHY (1,5 Gbps/Lane) 2 Lane,
SLVS(800 Mbps/Lane) 4 Lane
Funktionen zur Verarbeitung von Ereignissignalen:
Anti-Flicker, Ereignisfilter, Ereignisratenkontrolle.
![F1 2021 - [Playstation 5]](https://m.media-amazon.com/images/I/511VWQFvPXS._SS520_.jpg)
![The Forgotten City - [PlayStation 5]](https://m.media-amazon.com/images/I/51DUJ4EpWHL._SS520_.jpg)
![Marvel's Spider-Man: Miles Morales [PlayStation 5]](https://m.media-amazon.com/images/I/51dlJCpejcL._SS520_.jpg)
