Computer Vision i IoT w zarządzaniu produkcją

Na hali produkcyjnej wiele istotnych informacji nie pojawia się w systemie ERP, tabeli ani raporcie. Widać je na kamerze, słychać w pracy maszyny albo można je odczytać z sensora.

Ruch w strefie roboczej. Zatrzymanie elementu na taśmie. Produkt odłożony w niewłaściwe miejsce. Pracownik wchodzący do obszaru, który powinien być chwilowo zamknięty. Brak elementu, który zwykle znajduje się na stanowisku. Nietypowe zachowanie maszyny.

To sytuacje, które człowiek może zauważyć, ale nie zawsze w odpowiednim momencie. Computer Vision i IoT pozwalają zamienić obserwację na działający system: taki, który wykrywa określone zdarzenia, reaguje na nie i przekazuje informację osobie odpowiedzialnej za proces.

Nie chodzi o to, aby kamera „patrzyła na wszystko”. Chodzi o to, aby system rozumiał konkretne sytuacje, które mają znaczenie dla produkcji, bezpieczeństwa i jakości.

Computer Vision wykrywa zdarzenia, nie tylko obiekty

Najprostsze wyobrażenie Computer Vision to rozpoznawanie przedmiotów na obrazie. W praktyce możliwości są znacznie szersze. System może analizować nie tylko to, co znajduje się w kadrze, ale również gdzie się znajduje, jak się porusza i jak zmienia się sytuacja w czasie.

W zależności od potrzeb Computer Vision może służyć do:

• wykrywania obecności człowieka lub pojazdu,
• śledzenia ruchu obiektów,
• wykrywania wejścia do określonej strefy,
• sprawdzania, czy obiekt pojawił się w odpowiednim miejscu,
• wykrywania braku elementu,
• kontroli kolejności czynności,
• rozpoznawania wad wizualnych,
• wykrywania kolizji lub niebezpiecznego zbliżenia,
• monitorowania zatrzymania albo zablokowania procesu,
• wykrywania zmian względem normalnego obrazu.

To ważna różnica. System nie musi odpowiadać wyłącznie na pytanie: „Co widzę?”. Często bardziej przydatne są pytania:

• Czy coś pojawiło się tam, gdzie nie powinno?
• Czy porusza się w niewłaściwym kierunku?
• Czy znajduje się w tej strefie zbyt długo?
• Czy proces przebiega inaczej niż zwykle?
• Czy po wykonaniu jednej czynności pojawiła się kolejna?
• Czy na stanowisku brakuje elementu, który powinien się tam znajdować?

Właśnie analiza relacji, ruchu i czasu sprawia, że Computer Vision może wspierać realne procesy, a nie tylko pełnić rolę cyfrowego katalogu obiektów.

Wykrywanie ruchu i obecności

Detekcja ruchu jest jednym z podstawowych zastosowań systemów wizyjnych, ale jej wartość zależy od tego, co system zrobi z wykrytym ruchem.

Samo wykrycie zmiany obrazu jest często niewystarczające. Zwykły cień, zmiana oświetlenia albo poruszająca się folia mogą wygenerować alarm, który nie ma żadnego znaczenia. Dlatego system powinien rozróżniać rodzaj obiektu, kierunek ruchu, obszar oraz czas trwania zdarzenia.

Przykładowo można wykrywać:

• pojawienie się osoby w pobliżu maszyny,
• przejazd wózka przez określony punkt,
• wejście obiektu do strefy kontrolowanej,
• ruch produktu na taśmie,
• zatrzymanie elementu przez dłuższy czas,
• poruszanie się obiektu w przeciwnym kierunku,
• brak oczekiwanego ruchu w określonym przedziale czasu.

Dzięki temu system może nie tylko zarejestrować zdarzenie, ale także uruchomić konkretną reakcję: wysłać powiadomienie, zapisać zdarzenie, przekazać informację do panelu operatora albo skomunikować się z innym elementem infrastruktury.

W niektórych procesach ważniejsze od samego ruchu jest jego tempo. Obiekt może się poruszać, ale zbyt wolno, zbyt szybko albo nieregularnie. Taka zmiana może wskazywać na problem mechaniczny, zator albo odchylenie od standardowego przebiegu procesu.

Strefy zakazane i bezpieczeństwo pracowników

Jednym z najbardziej praktycznych zastosowań Computer Vision jest monitorowanie obszarów, do których nikt nie powinien wchodzić w określonych warunkach.

Może to być:

• obszar pracy robota,
• strefa wokół prasy lub maszyny,
• fragment hali zamknięty podczas przezbrojenia,
• miejsce przeznaczone wyłącznie dla uprawnionych osób,
• obszar, w którym trwa serwis,
• pas ruchu pojazdów lub wózków,
• strefa o podwyższonym ryzyku.

System może wykryć wejście człowieka do takiego obszaru, uwzględniając nie tylko obecność, ale także moment i warunki zdarzenia. Wejście podczas postoju maszyny może mieć inne znaczenie niż wejście w trakcie pracy. Dlatego Computer Vision warto połączyć z informacjami z maszyn, sterowników, czujników lub systemu zarządzającego produkcją.

Ważne jest również ograniczenie liczby fałszywych alarmów. Jeżeli operator otrzymuje kilkadziesiąt nieistotnych powiadomień dziennie, szybko przestaje traktować system poważnie. Dobre rozwiązanie powinno uwzględniać czas obecności, kierunek ruchu, strefę, harmonogram i kontekst procesu.

Computer Vision nie zastępuje procedur bezpieczeństwa ani fizycznych zabezpieczeń. Może jednak działać jako dodatkowa warstwa obserwacji i szybkiego powiadamiania. Szczególnie wtedy, gdy człowiek nie jest w stanie stale monitorować wielu obszarów jednocześnie.

Detekcja niezgodności w procesie

W produkcji nie każda niezgodność jest widoczna jako oczywista wada produktu. Czasem problemem jest kolejność czynności, pozycja elementu albo sytuacja, która odbiega od przyjętego przebiegu procesu.

System wizyjny może wspierać wykrywanie:

• brakujących komponentów,
• niewłaściwego ułożenia elementów,
• nieprawidłowego montażu,
• obecności obcego przedmiotu,
• zmiany położenia produktu,
• niezgodności wizualnych,
• pominięcia etapu,
• powtarzającego się błędu na stanowisku.

W takim zastosowaniu nie zawsze chodzi o automatyczne odrzucenie produktu. Często lepszym rozwiązaniem jest wskazanie przypadku do dodatkowej weryfikacji. System może zatrzymać proces, oznaczyć element albo przekazać informację operatorowi, który podejmie ostateczną decyzję.

To pozwala połączyć automatyzację z kontrolą człowieka. Model nie musi być nieomylnym sędzią. Może być szybkim filtrem, który wyłapuje sytuacje wymagające uwagi.

Wykrywanie anomalii

Nie każdą sytuację da się opisać zamkniętą listą reguł. W wielu procesach ważne jest wykrywanie tego, co odbiega od typowego przebiegu.

Anomalią może być:

• nietypowy tor ruchu,
• nagłe zatrzymanie,
• obiekt pozostający zbyt długo w jednym miejscu,
• zmiana zagęszczenia ruchu,
• nietypowe zachowanie maszyny,
• różnica w wyglądzie produktu,
• pojawienie się obiektu w niewłaściwym czasie,
• połączenie kilku pozornie drobnych odchyleń.

Wykrywanie anomalii wymaga zdefiniowania, co oznacza „normalny” proces. Nie zawsze oznacza to jeden idealny obraz. Częściej jest to zakres akceptowalnych zachowań, który może zmieniać się zależnie od zmiany, produktu, stanowiska albo etapu produkcji.

Dlatego system powinien umożliwiać dostrajanie progów i analizowanie historii zdarzeń. Inaczej każde odstępstwo będzie traktowane jak awaria, a produkcja zacznie przypominać alarm przeciwpożarowy uruchamiany przez toster.

Dobrze zaprojektowana detekcja anomalii nie tylko generuje alert. Pomaga również zrozumieć, kiedy i w jakich warunkach odchylenia pojawiają się najczęściej.

IoT dostarcza kontekst

Obraz z kamery jest przydatny, ale często nie wystarcza do podjęcia właściwej decyzji. Informacja o tym, że człowiek znalazł się w strefie, może mieć różne znaczenie zależnie od stanu maszyny. Informacja o zatrzymaniu produktu może być normalna podczas przezbrojenia, ale niepokojąca w trakcie standardowej pracy.

IoT pozwala połączyć obraz z innymi źródłami danych:

• stanem maszyny,
• temperaturą,
• prędkością,
• sygnałem z czujnika,
• identyfikatorem partii,
• harmonogramem,
• informacją o trwającym serwisie,
• danymi z systemu produkcyjnego.

Dzięki temu reguła może być bardziej precyzyjna:

„Wyślij alarm, jeśli osoba znajduje się w strefie robota, robot jest aktywny, a procedura serwisowa nie została rozpoczęta”.

Taki komunikat jest znacznie bardziej użyteczny niż samo „wykryto osobę”.

IoT pozwala również zarejestrować pełny kontekst zdarzenia. Po czasie można sprawdzić, co wykryła kamera, jaki był stan urządzenia i jaka reakcja została wykonana.

Edge AI tam, gdzie liczy się czas

W systemach bezpieczeństwa i monitoringu produkcji opóźnienie może mieć znaczenie. Jeżeli analiza obrazu odbywa się wyłącznie w chmurze, dane muszą zostać przesłane, przetworzone i odesłane z powrotem.

Edge AI pozwala wykonać część analizy lokalnie — bezpośrednio na urządzeniu albo w lokalnym komputerze znajdującym się blisko kamer i maszyn. System może wtedy szybciej zareagować na wykrycie ruchu, wejście do strefy lub zmianę procesu.

Lokalne przetwarzanie może również ograniczyć ilość obrazu przesyłanego poza halę. Do backendu można przekazywać zdarzenie, metadane albo wynik analizy zamiast całego strumienia wideo.

To nie oznacza, że każda analiza powinna odbywać się lokalnie. Decyzja zależy od wymagań dotyczących opóźnienia, dostępnej infrastruktury, łączności, prywatności i kosztów. Najczęściej najlepszy jest podział odpowiedzialności:

• kamera i edge wykrywają zdarzenie,
• lokalny system reaguje natychmiast,
• backend zapisuje dane i historię,
• aplikacja pokazuje operatorowi kontekst,
• chmura służy do raportowania lub dalszej analizy.

Od alarmu do użytecznej reakcji

Sam alarm nie rozwiązuje problemu. System powinien określać, co dzieje się po wykryciu zdarzenia.

Możliwa reakcja to:

• powiadomienie operatora,
• zapisanie zdarzenia w historii,
• oznaczenie obrazu lub fragmentu nagrania,
• zatrzymanie procesu, jeśli infrastruktura na to pozwala,
• przekazanie informacji do systemu nadrzędnego,
• utworzenie zadania dla konkretnej osoby,
• eskalacja, gdy nikt nie potwierdzi zdarzenia,
• zebranie danych do późniejszej analizy.

Każdy alarm powinien mieć kontekst. Operator potrzebuje wiedzieć, gdzie wystąpiło zdarzenie, kiedy się rozpoczęło, czego dotyczyło i czy ktoś już na nie zareagował.

W przeciwnym razie powstaje kolejny panel, który świeci się na czerwono i czeka na osobę z odpowiednim poziomem cierpliwości.

Projektowanie rozwiązania zaczyna się od scenariuszy

Najlepsze systemy Computer Vision nie zaczynają się od pytania: „Jaki model wybierzemy?”. Zaczynają się od scenariusza.

Najpierw trzeba określić:

• jakie zdarzenie chcemy wykrywać,
• dlaczego jest istotne,
• jak wygląda poprawny przebieg procesu,
• jakie odchylenia mają znaczenie,
• jaka reakcja powinna nastąpić,
• kto powinien otrzymać informację,
• jak zmierzymy skuteczność rozwiązania.

Dopiero później można dobrać kamery, sposób przetwarzania, model, urządzenia edge, backend i interfejs.

Ważne jest również testowanie w rzeczywistych warunkach. Inne światło, kurz, zasłonięty obiekt, zmiana produktu albo nowa konfiguracja stanowiska mogą wpłynąć na wynik. System powinien być rozwijany na podstawie prawdziwych przypadków, a nie wyłącznie idealnych nagrań przygotowanych na potrzeby prezentacji.

Computer Vision jako część systemu produkcyjnego

Computer Vision i IoT mogą wspierać jakość, bezpieczeństwo oraz zarządzanie produkcją, ale ich wartość nie wynika z samego faktu użycia kamery, sensora albo modelu AI.

Wartość pojawia się wtedy, gdy system:

• wykrywa konkretne zdarzenia,
• rozumie ich kontekst,
• ogranicza liczbę fałszywych alarmów,
• reaguje w odpowiednim czasie,
• zapisuje historię,
• wspiera człowieka w podjęciu decyzji,
• może być monitorowany i rozwijany.

Dobrze zaprojektowane rozwiązanie nie próbuje zastąpić całego procesu jednym modelem. Łączy dane z kamer, urządzeń, backendu i aplikacji użytkownika w spójną całość.

Wtedy obraz z hali produkcyjnej przestaje być tylko nagraniem. Staje się źródłem informacji, które może pomóc wcześniej wykryć niezgodność, zareagować na zagrożenie i lepiej zarządzać procesem.