Stereowizja 3D bez wąskich gardeł, czyli moduł komputerowy oparty na układzie Intel Arria 10

Stereowizja 3D bez wąskich gardeł, czyli moduł komputerowy oparty na układzie Intel Arria 10
Pobierz PDF Download icon
Rynek systemów wizyjnych operujących na obrazach 3D rośnie błyskawicznie. Szacuje się, że do 2022 roku jego wartość przekroczy 5,46 mld dolarów. By spełnić wymagania tego rynku, firma Dream Chip opracowała moduł Arria 10. Jest to idealne rozwiązanie do wszystkich aplikacji obrazowania, wspierające środowisko OpenCL, które skraca czas opracowywania oprogramowania.

Dwa niezależne interfejsy pamięci pozwalają rdzeniowi ARM Cortex A9 i blokowi FPGA na radzenie sobie z aplikacjami wymagającymi dużej przepustowości przetwarzania danych. Mogą błyskawicznie realizować buforowanie ramek i detekcję obiektów, pracując równolegle, w tym samym czasie. Uzyskana w ten sposób wydajność ma szczególne znaczenie w przypadku obrazu wideo o dużej liczbie klatek na sekundę, wizji stereoskopowej oraz podczas obrazowania w rozdzielczości 4 K.

Budowa modułu

Nowy moduł komputerowy ma dwa złącza LVDS BCON. Każde z nich obejmuje po cztery linie LVDS oraz liczne dodatkowe sygnały sterujące, pozwalając na bezpośrednie podłączenie do płytki z sensorem obrazu, takim jak kamery Basler Dart. Umożliwia to realizację systemów wizyjnych 3D w oparciu na dwóch kamerach oraz analizę obrazu z wykorzystaniem bibliotek OpenCL. Oprogramowanie Basler Pylon jest uruchamiane na układzie ARM. Cały SOM jest w efekcie w stanie przetwarzać obraz o rozdzielczości Full HD z szybkością do 1200 klatek na sekundę, a 32 uniwersalne linie LVDS, wyprowadzone na złącza, pozwalają podłączyć różnorodne, szybkie  interfejsy prowadzace do innych sensorów obrazów, wyświetlaczy, przetworników analogowo-cyfrowych lub cyfrowo-analogowych itd. Dwanaście gigabitowych transceiverów nadawczo-odbiorczych można użyć do implementacji obsługi choćby 12-gigabitowego cyfrowego interfejsu szeregowego SDI albo interfejsu DisplayPort. Wszystkie komponenty zamontowane na module są certyfikowane pod kątem pracy w środowisku przemysłowym, w temperaturze od –40 do +85°C, a złącza zostały dobrane tak, by nie zawiodły nawet przy intensywnych wibracjach.

Aby ułatwić integrację ze środowiskiem przemysłowym, w którym wciąż często są używane interfejsy pracujące z użyciem napięcia z zakresu 1,8…3,3 V, moduł zawiera układy przesuwania poziomów, gdzie napięcie referencyjne jest podawane przez użytkownika. Umożliwia to komunikację z interfejsami ARM/HPS, I2C, SPI i GPIO.

Kamery Basler Dart BCON z interfejsem LVDS

Realizacja stereoskopowego systemu wizyjnego wymaga, by kamera spełniała cztery warunki:

- Potrzebny jest odpowiedni sensor.
- Konieczna jest dokładna synchronizacja.
- System nie może zbytnio obciążać procesora.
- Kamera musi być stabilna mechaniczne.

Sensor

Do systemów stereoskopowych wykorzystuje się najczęściej sensory monochromatyczne, by ograniczyć złożoność obliczeniową algorytmu. Jednakże w niektórych przypadkach informacja o kolorze może być przydatna. Na potrzeby detekcji ruchomych obrazów rekomenduje się stosowanie systemów z migawką jednoczesną (globalną), by uniknąć błędów powodowanych zapisem liniowym. Ponieważ wysoka rozdzielczość zwiększa obciążenie obliczeniami, typowo stosuje się sensory o niskiej rozdzielczości, począwszy od VGA (640×480 pikseli) do 5 MP. Ta sama zasada odnosi się do liczby klatek na sekundę. Do wykrywania ruchomych obiektów korzysta się z kamer do 60 klatek na sekundę, co wymaga szybkiego przetwarzania obrazu. I tak czy inaczej dla większości użytkowników czas potrzebny na wykonanie obliczeń algorytmu dopasowującego stanowi wąskie gardło w aplikacji, ograniczając obsługiwaną rozdzielczość i płynność wideo. Kamery Dart z interfejsem BCON LVDS korzystają z sensorów Aptina AR0134 (1,3 MP, 54 fps), EV76C570 (1,9 MP, 60 fps) i MT9P031 (5 MP, 14 fps). Co więcej, oprogramowanie Pylon ma wiele funkcji sterowania rozdzielczością i płynnością obrazu, co pozwala na indywidualną adaptację kamery do specyficznych aplikacji.

Dokładna synchronizacja

To jeden z kluczowych aspektów, potrzebnych do niezawodnego pozyskiwania informacji 3D. Kamera Dart ma sprzętowy wyzwalacz, który umożliwia błyskawiczne zdejmowanie obrazów. Sygnał wyzwalający można przesłać za pomocą elastycznego, płaskiego kabla FFC, a więc bez potrzeby stosowania dodatkowych przewodów. Jeden sygnał wyzwalający może być wykorzystany przez dwie kamery i jest o kilka rzędów wielkości szybszy niż wyzwalanie programowe.

Kolejną zaletą kamery jest zaimplementowany w firmware tryb natychmiastowego wyzwalania, co tym bardziej skraca opóźnienia, nawet do 2 µs (w przypadku sensora AR0134).

Małe obciążenie procesora

Algorytmy kalkulujące głębię na podstawie dwóch obrazów 2D są skomplikowane i wymagają dużo mocy obliczeniowej, która zazwyczaj jest silnie ograniczona. Kamery Dart BCON dostarczają już gotowe obrazy, a nie surowe dane z sensorów. W przypadku kolorowych czujników algorytmy przetwarzające obraz, takie jak filtry wyostrzające oraz korekcja barw i jasności, są realizowane we wbudowanym układzie FPGA, zanim całość zostanie przesłana przez interfejs BCON. Natomiast użycie omawianego modułu sprawia, że obraz po odebraniu z kamery jest przetwarzany przez układ FPGA na potrzeby wykrywania krawędzi i innych algorytmów, dzięki czemu można go realizować szybciej i przy mniejszym obciążeniu procesora.

Stabilność mechaniczna

Aby było możliwe poprawne obliczenie głębi, konieczna jest dokładna informacja odnośnie do odległości kamer od siebie oraz ich orientacji w przestrzeni. Dlatego stosuje się bardzo precyzyjną kalibrację, po której mechanicznie cały układ powinien być trwale unieruchomiony. Kamery Dart mają otwory, które umożliwiają solidne przymocowanie ich do obudowy, a 28-pinowe złącze ZIF nie tylko zmniejsza ryzyko przypadkowego rozłączenia, ale też redukuje siły przenoszone przez kabel na kamerę.

Podsumowanie

Duża liczba linii LVDS oraz duża przepustowość interfejsu pamięci czynią omawiany moduł komputerowy idealnym wyborem do wymagających aplikacji wizyjnych. Można do niego podłączyć do 6 kamer wideo o przepływności 6,4 Gb/s, np. na potrzeby realizacji systemów wspomagania kierowcy, takich jak prezentacja obrazu, pochodzącego ze wszystkich stron pojazdu. Duża liczba (do 480 tysięcy) wbudowanych w układ FPGA elementów logicznych pozwala na realizację nawet kilku intensywnych obliczeniowo, stereoskopowych systemów wizyjnych 3D i korzystających z OpenCL na pojedynczym module komputerowym.

Heiko Henkel
Dream Chip Technologies GmbH

--

Więcej informacji:

dr inż. Kamil Rudnicki
DFAE FPGA
Arrow Electronics
tel. +48 602 240 030
kamil.rudnicki@arroweurope.com
www.arrow.com

Artykuł ukazał się w
Elektronika Praktyczna
lipiec 2018
DO POBRANIA
Pobierz PDF Download icon
Zobacz też
Elektronika Praktyczna Plus lipiec - grudzień 2012

Elektronika Praktyczna Plus

Monograficzne wydania specjalne

Elektronik lipiec 2020

Elektronik

Magazyn elektroniki profesjonalnej

Raspberry Pi 2015

Raspberry Pi

Wykorzystaj wszystkie możliwości wyjątkowego minikomputera

Świat Radio lipiec 2020

Świat Radio

Magazyn użytkowników eteru

APA - Automatyka Podzespoły Aplikacje lipiec 2020

APA - Automatyka Podzespoły Aplikacje

Technika i rynek systemów automatyki

Elektronika Praktyczna lipiec 2020

Elektronika Praktyczna

Międzynarodowy magazyn elektroników konstruktorów

Praktyczny Kurs Elektroniki 2018

Praktyczny Kurs Elektroniki

24 pasjonujące projekty elektroniczne

Elektronika dla Wszystkich lipiec 2020

Elektronika dla Wszystkich

Interesująca elektronika dla pasjonatów