Adaptowalne, brzegowe aplikacje wizyjne

Zestaw startowy upraszcza opracowywanie zastosowań wizyjnych

Zestaw startowy do zastosowań wizyjnych ze sztuczną inteligencją KV260 firmy Xilinx, składający się z modułu SOM K26 podłączonego do wizyjnej płytki nośnej, stanowi gotową platformę zaprojektowaną specjalnie do natychmiastowej ewaluacji i szybkiego rozwoju inteligentnych aplikacji wizyjnych. Podczas gdy moduł SOM K26 zapewnia wymagane możliwości przetwarzania, płytka nośna zestawu startowego zapewnia zarządzanie energią, w tym sekwencjonowanie włączania i resetowania, a także różne typy interfejsów i złączy do kamery, wyświetlacza oraz karty microSD (ilustracja 3).

Ilustracja 3: Zestaw startowy do zastosowań wizyjnych ze sztuczną inteligencją KV260 firmy Xilinx stanowi kompletne inteligentne rozwiązanie wizyjne wykorzystujące moduł SOM K26 podłączony do wizyjnej płytki nośnej. (Źródło ilustracji: Xilinx)

Oprócz wielu interfejsów płytka nośna zapewnia obsługę wielu kamer za pośrednictwem złącza Raspberry Pi i pary złącz systemu dostępu do obrazu (IAS), z których jedno łączy się z dedykowanym procesorem obrazu (ISP) onsemi o rozdzielczości 13Mpx AP1302, który jest w stanie obsłużyć wszystkie funkcje przetwarzania obrazu.

Aby jeszcze bardziej przyspieszyć wdrażanie aplikacji wizyjnych, firma Xilinx zapewnia dodatkowe zasoby dla tej wstępnie zdefiniowanej wizyjnej platformy sprzętowej w postaci szeregu gotowych akcelerowanych aplikacji wizyjnych oraz kompleksowego zestawu narzędzi programowych i bibliotek do niestandardowych prac rozwojowych.

Akcelerowane aplikacje zapewniają natychmiastowe rozwiązania

Na potrzeby natychmiastowej ewaluacji i szybkiego rozwoju akcelerowanych aplikacji wizyjnych firma Xilinx oferuje kilka gotowych aplikacji, które demonstrują rozwiązanie kilku popularnych problemów, w tym wykrywanie twarzy z inteligentnej kamery przy użyciu programowalnej logiki, identyfikację i śledzenie pieszych, wykrywanie wad i wykrywanie par słów kluczowych za pomocą procesora układu MPSoC. Każda z aplikacji jest dostępna w sklepie Xilinx Kria App Store, a każda z nich stanowi kompletne rozwiązanie dla konkretnego przypadku użycia wraz z towarzyszącymi narzędziami i zasobami. Na przykład aplikacja do wykrywania twarzy za pomocą inteligentnej kamery wykorzystuje wbudowany przetwornik obrazu AR1335 płytki nośnej KV260 i ISP AP1302 do pozyskiwania obrazów oraz wyjście HDMI lub DisplayPort (DP) do renderowania wyniku. Na potrzeby przetwarzania wykrywania twarzy aplikacja konfiguruje moduł SOM K26, aby zapewnić akcelerator potoków wizyjnych i wstępnie zbudowany aparat wnioskowania uczenia maszynowego do wykrywania twarzy, liczenia osób i innych zastosowań z użyciem inteligentnych kamer (ilustracja 4).

Ilustracja 4: Gotowe akcelerowane aplikacje dostępne do pobrania ze sklepu Xilinx Kria App Store można od razu uruchamiać na zestawie startowym KV260, tworząc kompletne rozwiązania dla modeli wizyjnych, takich jak wykrywanie twarzy. (Źródło ilustracji: Xilinx)

Zapewniając pełną implementację i wsparcie, wstępnie zbudowane akcelerowane aplikacje ze sklepu Xilinx App Store pozwalają deweloperom na uruchamianie projektów w mniej niż godzinę, nawet jeśli nie mają oni doświadczenia z bezpośrednio programowalnymi macierzami bramek (FPGA). Do ewaluacji aplikacji można użyć dostarczonego stosu oprogramowania do modyfikacji funkcjonalności w celu zbadania alternatywnych rozwiązań. Do bardziej zaawansowanych niestandardowych prac rozwojowych firma Xilinx oferuje kompleksowy zestaw narzędzi programistycznych i bibliotek.

Narzędzia i środowisko programistyczne sztucznej inteligencji (AI) przyspieszają niestandardowe prace rozwojowe

Środowisko programistyczne Vitis AI firmy Xilinx zawiera zoptymalizowane narzędzia, biblioteki i wstępnie wytrenowane modele, które mogą służyć jako podstawa dla pracy nad bardziej wyspecjalizowanymi modelami niestandardowymi opartymi na sztucznej inteligencji. Dla środowiska uruchomieniowego zestaw rozwojowy oprogramowania PetaLinux z wbudowanym systemem Linux oparty na projekcie Yocto firmy Xilinx oferuje pełny zestaw funkcji potrzebnych do budowania, rozwijania, testowania i wdrażania wbudowanych systemów Linux.

Zaprojektowane zarówno dla ekspertów, jak i deweloperów bez doświadczenia z bezpośrednio programowalnymi macierzami bramek (FPGA) środowisko Vitis AI pozwala na projektowanie w oderwaniu od szczegółów podstawowego sprzętu krzemowego, umożliwiając deweloperom skupienie się na budowaniu bardziej efektywnych modeli uczenia maszynowego (ML). W rzeczywistości środowisko Vitis AI jest zintegrowane z otwartoźródłowym stosem kompilatorów głębokiego uczenia Apache Tensor Virtual Machine (TVM), co umożliwia kompilowanie modeli z różnych platform na procesor, procesor graficzny lub akcelerator. Korzystając z Vitis AI z TVM, programiści mogą ulepszyć swoje istniejące projekty dzięki akcelerowanym funkcjom wizyjnym, przenosząc intensywne obciążenia obliczeniowe dotyczące wizji, takie jak modele głębokiego uczenia się, do Kria SOM. W dalszej optymalizacji modeli głębokiego uczenia deweloperom może pomóc narzędzie AI Optimization firmy Xilinx, które potrafi oczyszczać sieci neuronowe w celu zmniejszenia złożoności pod względem liczby operacji giga na sekundę (Gops), zwiększenia liczby klatek na sekundę (fps) i zmniejszenia przeparametryzowanych modeli, kompresując je nawet 50-krotnie z niewielkim wpływem na dokładność pod względem średniej precyzji (mAP) (ilustracja 5).

Ilustracja 5: Studium przypadku firmy Xilinx Research pokazało, jak kilka iteracji oczyszczania za pomocą narzędzia Xilinx AI Optimization może szybko zmniejszyć złożoność sieci neuronowej pod względem liczby Gops, jednocześnie zwiększając liczbę klatek na sekundę, a wszystko to z niewielkim wpływem na dokładność. (Źródło ilustracji: Xilinx)

We wdrażaniu niestandardowych aplikacji wizyjnych pomogą otwartoźródłowe biblioteki Vitis Vision firmy Xilinx zoptymalizowane pod kątem wysokiej wydajności i niskiego wykorzystania zasobów na platformach Xilinx, oferując znajomy interfejs oparty na OpenCV. W zakresie analityki, w budowaniu bardziej efektywnych potoków analizy wizji i wideo deweloperom pomoże zestaw rozwojowy oprogramowania Video Analytics SDK, nie wymagający posiadania głębokiej wiedzy na temat bezpośrednio programowalnych macierzy bramek (FPGA). Oparty na szeroko rozpowszechnionej, otwartoźródłowej platformie GStreamer zestaw SDK Video Analytics umożliwia deweloperom szybkie tworzenie niestandardowych jąder akceleracji jako wtyczek GStreamer do integracji z platformą SDK.

Korzystając z tych narzędzi, typowy deweloper układów wbudowanych może łatwo asemblować niestandardowe potoki akceleracji z niestandardowymi jądrami akceleracji lub bez nich.

Podsumowanie

Przeznaczone do intensywnych obliczeń algorytmy uczenia maszynowego (ML) umożliwiły wykorzystanie inteligentnych technologii wizyjnych w wielu aplikacjach działających na urządzeniach brzegowych, jednak deweloperzy stają przed wieloma wyzwaniami w zakresie wymagań dotyczących wysokiej wydajności, niskiego poboru mocy i możliwości adaptacji układów wizyjnych opartych na urządzeniach brzegowych. Moduł SOM Kria K26 firmy Xilinx zapewnia bazę sprzętową do szybszego opracowywania zaawansowanych algorytmów bez przekraczania ściśle ograniczonych zasobów mocy. Korzystając z zestawu startowego opartego na Kria K26 z gotowymi aplikacjami, deweloperzy mogą natychmiast rozpocząć ewaluację inteligentnych aplikacji wizyjnych i korzystać z kompleksowego środowiska programistycznego do tworzenia niestandardowych rozwiązań z wykorzystaniem urządzeń brzegowych.

Autor: Stephen Evanczuk

Kontakt w Polsce

Arkadiusz Rataj

Sales Manager Central Eastern Europe & Turkey

Digi-Key Electronics Germany

0048 696 307 330

arkadiusz.rataj@digikey.com

poland.support@digikey.pl