Wybór i integracja czujników CMOS: Komercyjny przewodnik sourcingowy dla systemów wizyjnych AI i termowizyjnych

Jeśli spędziłeś trochę czasu na budowaniu zautomatyzowanych potoków wizyjnych dla gimbali lotniczych, robotyki na hali fabrycznej lub systemów nadzoru perymetrycznego, znasz tę prawdę: twoje modele obliczeniowe są tylko tak dobre, jak surowe fotony trafiające na twój krzem. Wybór odpowiedniego czujnika CMOS (Complementary Metal-Oxide-Semiconductor) to nie tylko odhaczanie pozycji w specyfikacji. To fundamentalna decyzja sprzętowa, która determinuje optyczną wydajność kwantową, zakres dynamiczny, poziom szumu odczytu oraz limity rozpraszania ciepła w trudnych warunkach terenowych. W miarę jak ładunki elektrooptyczne podlegają agresywnym ograniczeniom rozmiaru, wagi i mocy (SWaP), architekci systemów muszą wypełnić lukę między czujnikami obrazu CMOS w zakresie widzialnym a niechłodzonymi detektorami długofalowej podczerwieni (LWIR), aby zapewnić prawdziwą całodobową świadomość sceny.

Oto sedno: najnowocześniejsze wnioskowanie AI na krawędzi pada na twarz, jeśli twój potok obrazu zasila go przyciętymi zakresami dynamicznymi, artefaktami przestrzennymi migawki rolowanej lub niezsynchronizowanymi klatkami multispektralnymi. Potrzebujesz hermetycznej równowagi między fizyką czujników optycznych, dyscypliną trasowania na poziomie płytki i praktycznym zmysłem zakupowym.

Ten techniczny i komercyjny przewodnik sourcingowy zapewnia praktyczną mapę drogową inżynieryjną obejmującą architektury widzialnych czujników CMOS, szybkie interfejsy optyczne, metody multispektralnej fuzji termicznej oraz rzeczywiste praktyki integracji na poziomie płytki. Niezależnie od tego, czy montujesz autonomiczny ładunek drona, przemysłowy zestaw monitoringu termograficznego, czy linię automatycznej klasyfikacji defektów z AI na krawędzi, ten plan daje ci elektrooptyczne, interfejsowe i sprzętowe punkty odniesienia wymagane do budowy i skalowania wytrzymałych, wysokoniezawodnych systemów wizyjnych.

Architektura czujników CMOS w nowoczesnym widzeniu krawędziowym

Krajobraz operacyjny nowoczesnego czujnika CMOS w widzeniu krawędziowym przeszedł ogromną przebudowę w ciągu ostatniej dekady. Wczesne urządzenia CMOS zmagały się z brutalnym szumem ciemnym, wąską pojemnością studni pełnej i słabą wydajnością kwantową w porównaniu do starszych urządzeń ze sprzężeniem ładunkowym (CCD). Dziś zaawansowane techniki wytwarzania półprzewodników wypchnęły CMOS daleko do przodu, czyniąc go fundamentem widzenia maszynowego, pojazdów autonomicznych i optroniki wojskowej.

Architektury pikseli: oświetlenie od strony przedniej (FSI) vs. oświetlenie od strony tylnej (BSI)

Fizyczne trasowanie ścieżek, tranzystorów i fotodiod w matrycy krzemowej determinuje twój optyczny współczynnik wypełnienia — dokładny stosunek powierzchni fotodiody światłoczułej do całkowitej powierzchni piksela. Migracja między architekturami pikseli była jednym z największych skoków w inżynierii optycznej:

• ⚙️ Oświetlenie od strony przedniej (FSI): W starszych układach FSI metalowe połączenia, linie magistrali zasilającej i bramki resetujące znajdują się bezpośrednio na podłożu krzemowym, dokładnie między mikrosoczewką na chipie a fotodiodą. Ponieważ padające fotony muszą pokonać tę metalową przeszkodę, duża część światła ulega rozproszeniu, odbiciu lub absorpcji, zanim dotrze do aktywnego krzemu. Przy stromych kątach padania — typowych dla obiektywów szerokokątnych lub o niskiej liczbie przysłony — FSI generuje znaczny przesłuch optyczny i silne winietowanie, zabijając wydajność kwantową (QE) w warunkach słabego oświetlenia.
• ✅ Oświetlenie od strony tylnej (BSI): BSI odwraca cały układ chipa do góry nogami. Płytka krzemowa zawierająca aktywne fotodiody jest pocieniana od tyłu za pomocą polerowania chemiczno-mechanicznego do zaledwie kilku mikrometrów. Sensor jest zorientowany tak, że światło pada bezpośrednio na tylną warstwę krzemu, całkowicie omijając warstwę metalowych połączeń. Ta bezpośrednia ścieżka optyczna zwiększa współczynnik wypełnienia do blisko 100%, podnosząc szczytową wydajność kwantową powyżej 80% do 90% w całym zakresie widzialnym (400–700 nm) i bliskiej podczerwieni (NIR, 700–1000 nm).
• ⚙️ Architektura CMOS 3D Stacked: Złoty standard dla wysokoprzepustowego edge AI opiera się na matrycach pikseli w układzie 3D stacked. Dzięki połączeniom Direct Bond Interconnects (DBI) z miedzianym łączeniem płytka-do-płytki, matryca fotodiod pikseli znajduje się bezpośrednio na oddzielnym, wyspecjalizowanym podłożu cyfrowym. Ta dolna warstwa logiczna mieści kolumnowo-równoległe przetworniki analogowo-cyfrowe (ADC), dedykowaną pamięć liniową i niestandardowe akceleratory sprzętowe. Stacking zapewnia błyskawicznie szybkie odczyty równoległe bez uszczuplania powierzchni krzemowej zbierającej światło, redukując opóźnienie odczytu sensora do absolutnego minimum.

Optymalizacja zakresu dynamicznego i układy odczytu o niskim poziomie szumów

W praktyce rzadko spotykamy nieskazitelne, równomiernie oświetlone cele testowe. Zestawy wizyjne zamontowane na ramionach robotów montażowych, autonomicznych robotach mobilnych (AMR) lub wieżach infrastruktury krytycznej muszą radzić sobie z jasnym światłem słonecznym na zewnątrz, oślepiającymi odblaskami od polerowanego metalu i głębokimi szczegółami w cieniu w tej samej klatce. Potrzebny jest użyteczny zakres dynamiczny sięgający 100 dB do 120 dB.

Aby to osiągnąć bez przycinania świateł lub grzebania szczegółów w cieniu w szumie, nowoczesne sensory przemysłowe wykorzystują odczyty z podwójną konwersją wzmocnienia (DCG). W układzie DCG każdy pojedynczy piksel zawiera przełączane obciążenia pojemnościowe na swoim węźle dyfuzji pływającej:

• ⚙️ Wysoka konwersja wzmocnienia (HCG): Działa z małą pojemnością dyfuzji pływającej, przekształcając małe ilości ładunku fotogenerowanego w duże wahania napięcia. To obniża szum odczytu odniesiony do wejścia poniżej 1,0 elektronu RMS, co czyni go wyjątkowym do wydobywania wyraźnych danych z całkowicie ciemnych scen.
• ⚙️ Niska konwersja wzmocnienia (LCG): Włącza dodatkowy kondensator, aby zwiększyć pojemność studni, pozwalając pikselowi absorbować ogromne ilości elektronów przy intensywnym oświetleniu bez nasycania przetwornika ADC.

Gdy odczyty DCG trafiają do silników High Dynamic Range (HDR) z przeplotem linii i wielokrotną ekspozycją bezpośrednio wewnątrz pokładowego procesora sygnału obrazu (ISP), otrzymujesz czyste, wolne od artefaktów klatki wyjściowe o zrównoważonych krzywych tonalnych, całkowicie eliminując duchy i rozmycia ruchu typowe dla starego wieloklatkowego mieszania czasowego.

Fuzja multispektralna: łączenie widzialnych czujników CMOS z rdzeniami termicznymi LWIR

Czujniki CMOS światła widzialnego zapewniają niesamowitą rozdzielczość przestrzenną, bogate dane kolorystyczne i ostrą wierność krawędzi, gdy oświetlenie jest odpowiednie. Ponieważ jednak opierają się na odbitych fotonach otoczenia, napotykają ścianę w bezksiężycowe noce, gęsty dym przemysłowy, ciężki pył unoszący się w powietrzu lub gęstą jak grochówka mgłę. Aby zapewnić niezawodne całodobowe śledzenie celów, solidne konfiguracje sprzętowe łączą matryce CMOS światła widzialnego bezpośrednio z detektorami długofalowej podczerwieni (LWIR).

Obrazowanie termowizyjne w podczerwieni działa w spektrum od 8 µm do 14 µm, wychwytując bezpośrednie promieniowanie ciała doskonale czarnego emitowane przez cele na podstawie ich temperatury bezwzględnej i emisyjności powierzchni. Komercyjne widzenie termiczne opiera się na niechłodzonych matrycach ogniskowych mikrobolometrów (FPA) — technologii półprzewodnikowej szczegółowo omówionej na stronie Wikipedia Mikrobolometr przegląd — gdzie elementy pikselowe z tlenku wanadu (VOx) lub krzemu amorficznego (a-Si) pochłaniają promieniowanie cieplne i odpowiednio zmieniają swoją rezystancję elektryczną.

Paralaksa fizyczna i homografia osi optycznej

Spójrz, połączenie dwóch zupełnie różnych zespołów optycznych — refrakcyjnej soczewki szklanej nad układem CMOS światła widzialnego obok soczewki germanowej lub chalkogenkowej nad mikrobolometrem LWIR — przynosi natychmiastowe problemy mechaniczne i optyczne:

• ⚙️ Rozbieżność paralaksy: Ponieważ dwa centra optyczne są oddzielone fizyczną bazą na wsporniku ładunku, przesunięcie przestrzenne między obrazami zmienia się wraz z odległością celu. W nieskończoności przesunięcie paralaksy jest pomijalne; przy bliskich odległościach inspekcji (od 1 do 5 metrów) powoduje poważne błędy wyrównania. Precyzyjne zestawy multispektralne wykorzystują macierze homografii afinicznej w czasie rzeczywistym, wyprowadzone z procedur kalibracji stereoskopowej, aby rozciągać, obracać i wyrównywać przestrzeń współrzędnych światła widzialnego z mapą termiczną.
• ⚙️ Dopasowanie ogniskowej i pola widzenia (FOV): Czujniki CMOS światła widzialnego zazwyczaj charakteryzują się kompaktowymi formatami optycznymi (takimi jak 1/2,8" lub 1/1,8") z ciasnym rozstawem pikseli (od 1,4 µm do 2,9 µm), zapewniając rozdzielczość 1080p lub 4K. Natomiast niechłodzone czujniki termiczne wykorzystują szerszy rozstaw pikseli (12 µm lub 17 µm) ze standardowymi przemysłowymi formatami matryc 640×512 lub 1280×1024. Inżynierowie systemowi muszą skrupulatnie obliczać poziome i pionowe ogniskowe, aby uzyskać ściśle dopasowane pola widzenia w obu kanałach.

Algorytmy fuzji multispektralnej na poziomie pikseli

Po zablokowaniu rejestracji przestrzennej silniki fuzji obrazu w czasie rzeczywistym łączą dwa strumienie wideo w jeden strumień o wysokiej zawartości informacji:

• ✅ Fuzja luminancji i chrominancji (przestrzeń YCbCr / Lab): Strumień CMOS światła widzialnego jest konwertowany do przestrzeni kolorów luminancja-chrominancja. Wysokoczęstotliwościowe szczegóły przestrzenne (drobne krawędzie, kody kreskowe, tekst) są wyodrębniane za pomocą filtrów Laplace'a lub filtrów bilateralnych i wstrzykiwane do kanału intensywności termicznej, który następnie jest mapowany na płaszczyznę luminancji. Mapa cieplna jest przypisywana do kanałów chrominancji (takich jak Ironbow lub White-Hot), umożliwiając operatorom lub sieciom neuronowym odczytywanie tekstu i identyfikowanie sylwetek przy jednoczesnym natychmiastowym wykrywaniu wycieków termicznych lub gorących punktów.
• ✅ Fuzja zachowująca kontrast dla Edge AI: Konwolucyjne sieci neuronowe (CNN) i transformatory wizyjne (ViT) działają znacznie lepiej na połączonych wejściach multispektralnych niż na surowych izolowanych strumieniach monochromatycznych lub termicznych. Podawanie pojedynczego połączonego tensora do lekkich modeli utrzymuje wysoką dokładność detekcji w niekorzystnych warunkach pogodowych bez podwajania opóźnienia wnioskowania ani obciążenia obliczeniowego.

Dla inżynierów projektujących miniaturowe gimbale dwuspektralne do komercyjnych dronów i naziemnych pojazdów perymetrycznych zapoznaj się z naszym szczegółowym demontażem technicznym na stronie Mini 640 niechłodzony moduł kamery termowizyjnej LWIR.

Przemysłowa macierz wyboru: szum, typy migawek i interfejsy

Wybór idealnego czujnika wizyjnego do maszyn fabrycznych, ładunków obronnych lub inteligentnej infrastruktury oznacza zrównoważenie czystej wydajności elektrooptycznej z ograniczeniami termicznymi, elektrycznymi i mechanicznymi.

Topologie globalnej migawki a migawki kroczącej

Wybór między architekturą globalnej migawki a migawką kroczącą sprowadza się do trudnego kompromisu między integralnością geometryczną a surową czułością przy słabym oświetleniu:

• ⚙️ Globalna migawka (GS): W sensorze z globalną migawką każdy pojedynczy piksel naświetla się jednocześnie. Gdy okno integracji dobiega końca, zgromadzony ładunek jest przesyłany równolegle do ekranowanego, wewnątrzpikselowego analogowego węzła przechowywania, zanim rozpocznie się odczyt kolumna po kolumnie. To całkowicie eliminuje zniekształcenia przestrzenne. Sensory GS są obowiązkowe w szybkiej automatycznej inspekcji optycznej (AOI), szybkim sortowaniu na taśmociągach, automatycznym rozpoznawaniu tablic rejestracyjnych (ANPR) oraz mapowaniu dronami, gdzie prędkości celu lub pojazdu przekraczają 2 m/s. Jaki jest kompromis? Wyższa złożoność krzemowa, nieco wyższy szum odczytu i większe rozmiary pikseli ze względu na wewnątrzpikselowy węzeł przechowywania.
• ⚙️ Migawka krocząca (RS): Sensory z migawką kroczącą naświetlają i odczytują matrycę wiersz po wierszu. Jeśli cel lub kamera porusza się szybko podczas cyklu odczytu klatki, pojawiają się poważne artefakty przestrzenne (osławiony "efekt galarety" lub zniekształcenie ścinające). Jednak ponieważ piksele RS wymagają mniejszej liczby tranzystorów na komórkę, oferują one doskonałą pojemność studni ładunkowej, niższy prąd ciemny, znacznie wyższe rozdzielczości w atrakcyjnych cenach oraz ultraniski szum odczytu (<1,0 e- RMS). Sensory RS są idealne do stacjonarnego monitorowania perymetrycznego, ciągłego śledzenia z obrotem, pochyleniem i zoomem (PTZ) oraz precyzyjnej termografii radiometrycznej, gdzie platforma pozostaje stabilna względem sceny.

Wybór interfejsu: szybkie systemy wbudowane a wytrzymała telemetria dalekiego zasięgu

Przesyłanie cyfrowych strumieni wideo z matrycy sensora do procesora hosta wymaga starannego doboru interfejsu elektrycznego:

• ⚙️ MIPI CSI-2 (szeregowy interfejs kamery): Standard branżowy dla wbudowanego widzenia na poziomie płytki. Wykorzystując sygnalizację różnicową niskiego napięcia (D-PHY lub C-PHY), MIPI CSI-2 przesyła surowe, nieskompresowane dane Bayer lub YUV bezpośrednio do systemów na chipie (SoC), układów FPGA i mikrokontrolerów. Długości ścieżek są zazwyczaj ograniczone do 10–15 cm na sztywnych płytkach PCB, aby zachować integralność sygnału, co czyni go idealnym do kompaktowych wbudowanych urządzeń brzegowych. Do szybkiego prototypowania i oceny laboratoryjnej sensorów optycznych o niskiej przepustowości programiści systemów wbudowanych często eksperymentują, korzystając z platform takich jak Arduino, podczas gdy produkcyjne systemy przemysłowe opierają się na wysokoprzepustowych układach FPGA i dedykowanych jednostkach przetwarzania neuronowego (NPU).
• ⚙️ GigE Vision / Ethernet IP RJ45: W automatyce fabrycznej, zdalnej infrastrukturze i systemach wizyjnych morskich dane muszą pokonywać duże odległości fizyczne. Przemysłowe moduły sieciowe konwertują surowe strumienie pikseli na pokładzie za pomocą dedykowanych układów scalonych specyficznych dla aplikacji (ASIC), kompresując wideo do H.264, H.265 lub przesyłając nieskompresowane ramki GigE Vision przez wzmocnione linie Ethernet RJ45 lub M12 na odległość do 100 metrów bez aktywnych repeaterów. Protokoły strumieniowania w czasie rzeczywistym, takie jak RTSP, oraz zgodność z ONVIF zapewniają szeroką interoperacyjność z komercyjnymi systemami zarządzania wideo (VMS).
• ⚙️ Starszy analogowy CVBS: Pomimo przejścia na technologię cyfrową, analogowe wyjścia Composite Video Blanking and Sync (CVBS) pozostają szeroko stosowane w gimbalach obronnych, starszych systemach awioniki i łączach FPV dronów o niskiej latencji ze względu na zerowe opóźnienie analogowej ścieżki sygnału.

Aby uzyskać głębszą analizę zaopatrzenia i regionalne standardy zgodności na rynkach europejskich i azjatyckich, zapoznaj się z naszym komercyjnym podręcznikiem zaopatrzenia w podczerwień oraz naszym kompleksowym przeglądem inżynieryjnym dotyczącym wyboru rdzenia kamery LWIR.

Komercyjne porównanie sprzętu: wysokowydajne moduły wizyjne i termiczne

Wdrażanie dwuzakresowych platform multispektralnych wymaga komercyjnych, sprawdzonych w terenie rdzeni sprzętowych zaprojektowanych pod kątem ładunków zoptymalizowanych pod SWaP, stabilności termicznej i natychmiastowej integracji wbudowanej. Poniżej znajduje się przegląd inżynieryjny dwóch standardowych w branży modułów długofalowej podczerwieni zaprojektowanych do pracy samodzielnej lub w połączeniu z matrycami czujników CMOS światła widzialnego.

Niekolowana kamera termowizyjna 640×512 RJ45 CVBS RTSP IP

to cud inżynierii zaprojektowany specjalnie do środowisk o ograniczonych parametrach SWaP. Dzięki miniaturyzacji elektroniki bez poświęcania jakości sensora dostarczamy rdzeń, który mieści się w najciaśniejszych przestrzeniach. Niekolowana kamera termowizyjna 640×512 RJ45 CVBS RTSP IP to ultrakompaktowy, sterowany przez ASIC moduł obrazowania termicznego zaprojektowany specjalnie dla małych bezzałogowych statków powietrznych (sUAS), taktycznych gimbali dronów, inspekcji robotycznych i systemów ochrony perymetrycznej. Napędzany przez wysokoczułą matrycę mikrobolometryczną VOx 640×512 o rastrze pikseli 12 µm, moduł ten zapewnia wyraźne odwzorowanie termiczne w ekstremalnych gradientach środowiskowych.

Jego hybrydowa architektura wideo generuje jednocześnie cyfrowe strumienie IP (przez RJ45 z obsługą protokołów RTSP/ONVIF i kompresją H.264/H.265 o niskim opóźnieniu) oraz nieskompresowany analogowy sygnał CVBS. Dedykowany układ ASIC wykonuje korekcję niejednorodności (NUC), zastępowanie uszkodzonych pikseli i cyfrowe wzmacnianie szczegółów na poziomie krzemu, odciążając kontroler lotu lub komputer AI.

Specyfikacja	Parametr inżynieryjny
Typ detektora	Niechłodzona matryca FPA z mikrobolometrem VOx
Rozdzielczość matrycy i raster pikseli	640×512 pikseli, raster 12 µm
Czułość spektralna	8 µm do 14 µm (LWIR)
Łączność i interfejsy	RJ45 (Ethernet IP, RTSP/ONVIF), CVBS analogowy
Architektura przetwarzania	Dedykowany niskopoborowy ASIC ze sprzętowym DDE i NUC
Zastosowania docelowe	Ładunki dronów, robotyka autonomiczna, zdalne systemy bezpieczeństwa

Wyświetl szczegóły produktu i ceny ➔

Wysokorozdzielcza niekolowana kamera termowizyjna LWIR 1280×1024

to cud inżynierii zaprojektowany specjalnie do środowisk o ograniczonych parametrach SWaP. Dzięki miniaturyzacji elektroniki bez poświęcania jakości sensora dostarczamy rdzeń, który mieści się w najciaśniejszych przestrzeniach. Wysokorozdzielcza niekolowana kamera termowizyjna LWIR 1280×1024 to wysokiej klasy megapikselowy radiometryczny moduł termiczny zaprojektowany do precyzyjnej obserwacji dalekiego zasięgu. Wyposażony w niekolowaną matrycę mikrobolometryczną o natywnej rozdzielczości SXGA (1280×1024) oraz zintegrowany z precyzyjnie obrobionym zespołem soczewek germanowych 25 mm z ciągłym lub stałym ogniskowaniem, rdzeń ten czterokrotnie zwiększa gęstość pikseli w porównaniu ze standardowymi detektorami termicznymi 640×512.

Zaprojektowany do bezproblemowej integracji z wielosensorowymi wieżami obserwacji granicznej, morskimi systemami poszukiwawczo-ratowniczymi oraz platformami diagnostycznymi sieci elektroenergetycznych o wysokiej dokładności, rdzeń kamery zapewnia wysoką czułość termiczną (NETD ≤ 40 mK). Zapewnia wyraźne rozróżnienie termiczne między minimalnymi gradientami temperatur, gwarantując pozytywną identyfikację celów na dystansach oddalonych.

Specyfikacja	Parametr inżynieryjny
Typ detektora	Wysokogęstościowa niekolowana matryca FPA VOx LWIR
Rozdzielczość matrycy	Matryca wysokiej rozdzielczości 1280×1024
Zintegrowana optyka	Zespół soczewek germanowych 25 mm o wysokiej transmisji
Czułość termiczna (NETD)	≤ 40 mK (@ f/1.0, 300K)
Opcje wyjścia	Cyfrowy równoległy / LVDS / niestandardowy strumień IP nośnika
Zastosowania docelowe	Obserwacja graniczna, nawigacja morska, inspekcja infrastruktury użyteczności publicznej

Wyświetl szczegóły produktu i ceny ➔

Bezpośrednie porównanie inżynieryjne

Przetwarzanie sygnałów, wdrażanie ASIC i optymalizacja opóźnień

Uruchamianie szybkich modeli AI na krawędzi (takich jak detektory obiektów YOLOv8/v9, trackery centroidów wielu celów czy sieci segmentacji w czasie rzeczywistym) wymaga ściśle zdyscyplinowanego potoku obrazu. Jeśli spróbujesz przepychać surowe, nieskompresowane macierze pikseli o wysokiej głębi bitowej przez wewnętrzne warstwy jądra Linux i kolejki pamięci przestrzeni użytkownika, zapchasz przepustowość PCIe, podniesiesz temperatury CPU i będziesz stale gubić klatki.

Sprzętowy łańcuch przetwarzania wstępnego

Nowoczesne kamery przemysłowe przenoszą zadania oczyszczania obrazu bezpośrednio do dedykowanych układów ASIC lub FPGA, zanim klatki pikseli w ogóle trafią do pamięci RAM systemu:

• ⚙️ Korekcja niejednorodności (NUC): Nieschładzane termiczne matryce FPA dryfują znacząco w miarę nagrzewania się obudowy. Wbudowany układ ASIC stosuje współczynniki kalibracji w czasie rzeczywistym (korekcje wzmocnienia i offsetu) zebrane podczas kalibracji mechanicznej migawki, aby wyrównać dryf na każdym pojedynczym pikselu mikrobolometru.
• ⚙️ Cyfrowe wzmocnienie szczegółów (DDE) i CLAHE: Adaptacyjne wyrównanie histogramu z ograniczeniem kontrastu (CLAHE) oraz niestandardowe filtry wzmacniania krawędzi działają bezpośrednio na 14-bitowych surowych danych radiometrycznych. Mapuje to szerokie zakresy dynamiczne na zrównoważone strumienie 8-bitowe, jednocześnie uwydatniając anomalie termiczne o niskim kontraście na tle dużych sygnatur temperaturowych tła.
• ⚙️ Zastępowanie uszkodzonych pikseli (BPR): Martwe lub dryfujące piksele mikrobolometru i CMOS są wykrywane w krzemie i dynamicznie łatane w locie przy użyciu sąsiedzkiej interpolacji przestrzennej bez udziału procesora hosta.

Potoki DMA z kopiowaniem zerowym i opóźnienie „szkło-szkło”

Gdy projektujesz robotyczne ramiona typu pick-and-place lub szybko śledzące gimbale dronów, opóźnienie "szkło-szkło" — całkowity czas od uderzenia fotonu w aktywny krzem do wykonania przez host fizycznego polecenia siłownika — musi pozostać poniżej 30 milisekund. Aby osiągnąć ten cel, potrzebujesz architektur bezpośredniego dostępu do pamięci (DMA) z kopiowaniem zerowym:

Kierując sygnały MIPI CSI-2 lub zdeserializowane sygnały LVDS prosto do zunifikowanej pamięci sprzętowej współdzielonej przez CPU, GPU i NPU, system operacyjny unika kosztownych kopii pamięci między przestrzenią jądra a przestrzenią użytkownika. Silnik AI wykonuje wnioskowanie tensorowe bezpośrednio na przydzielonym sprzętowo buforze klatek. Po zintegrowaniu z usprawnionym modułem termicznym sterowanym przez ASIC, dwupasmowe potoki wizyjne osiągają niezawodne, deterministyczne pętle ciągłego wnioskowania od 60 fps do 120 fps bez utraty ani jednej klatki.

Najczęściej zadawane pytania (FAQ)