Resolve-Ables - wizualizacja zjawisk fizycznych za pomocą malowania światłem

Środa, 01 Luty 2023

Ludzkie zmysły są w znacznym stopniu ograniczone - widzimy tylko wąski wycinek widma promieniowania elektromagnetycznego, słyszymy tylko w wąskim zakresie częstotliwości, nie wspominając już o tym, że nie mamy żadnych zmysłów, mogących wyczuwać np. pole magnetyczne. Ten problem w sprytny sposób rozwiązują zaprezentowane poniżej urządzenia, które umożliwiają wizualizację tego, czego normalnie nasze zmysły nie widzą.

Zaprezentowany poniżej projekt jest wynikiem pracy magisterskiej z Instytutu ATLAS na University of Colorado, Boulder, jaką przygotował Chris Hill. Obecnie jest on doktorantem tego instytutu i bada interfejsy służące do ulepszania ludzkich zmysłów. Projekt Resolve-Ables to kolekcja urządzeń noszonych, które umożliwiają wizualizację zjawisk, których nie jesteśmy w stanie dostrzec naszymi biologicznymi zmysłami. Człowiek otoczony jest mnóstwem takich zjawisk, gdyż świat postrzega w bardzo ograniczony sposób, obserwując samodzielnie tylko wąski wycinek widm otaczającego nas promieniowania. Oczywiście, już od dawna możemy mierzyć, obserwować itd. te zjawiska z użyciem aparatury naukowej, jednak omówione w tym artykule proste układy nie mają realizować laboratoryjnych pomiarów tych zjawisk. Ich celem jest przetwarzanie tych pomiarów na intuicyjnie rozumiane przez ludzi reprezentacje, dzięki czemu urządzenia pokazane poniżej mogą funkcjonować, jako rozszerzenie naszych zmysłów.

Pomysł ten, jak i cały projekt, doskonale wpisują się w trend transhumanizmu. Jest to ruch występujący na pograniczu kultury, filozofii, technologii itd., który postuluje potrzebę rozwinięcia człowieka z użyciem nowoczesnej technologii. Realizacja tego rodzaju urządzeń może być doskonałym punktem wejścia do własnych badań w zakresie transhumanizmu.

Tło, kontekst i inspiracja

Jak opisuje autor „katalizatorem tego projektu była dyskusja, którą przeprowadziłem z moim promotorem, Danielem Leithingerem we wrześniu na temat projektu Immaterials autorstwa Timo Arnalla, Jørna Knutsena i Einara Sneve Martinussena. Ta grupa używała komercyjnych lamp LED do wizualizacji pól skanera RFID i routera Wi-Fi”. Działania w ramach projektu Immaterials pokazano na fotografii 1.

Fotografia 1. Malowidła świetlne pochodzące z projektu Immaterials; a) wizualizacja natężenia pola wokół czytnika RFID; b) wizualizacja siły sygnału Wi-Fi

„Kilka innych projektów również zainspirowało wizualizacje, które chcę wykonać w ramach tej pracy” dodaje Hill. Wskazuje on na projekty takie, jak mierzący pole elektromagnetyczne (EMF) Light Paintings autorstwa Luka Sturgeona i Shamika Raya (fotografia 2) oraz obrazy świetlne autorstwa Anthonego Devincenziego (fotografia 3) wizualizujące pole wokół urządzeń codziennego użytku.

Fotografia 2. Wizualizacja pola elektromagnetycznego za pomocą techniki fotograficznej malowania światłem autorstwa Luka Sturgeona i Shamika Raya

Nie są to jedyne dzieła, które realizują malowanie światłem, jakie wskazuje autor, ale pozostałe z nich mają raczej tylko aspekt estetyczny, a nie techniczny, więc ich omawianie zostało pominięte.

Fotografia 3. Wizualizacja pola wokół wiertarki zrealizowana przez Anthonego Devincenziego z użyciem malowania światłem

Resolve-Ables

Nazwa Resolve-Ables pochodzi od angielskiego słowa dotyczącego rozdzielczości mikroskopu, pozwalającej na rozdzielanie, czy też dostrzeganie pewnych cech. Dodatek ables, czyli zdolni wskazuje, na przekazywanie pewnych zdolności. W tym przypadku, chodzi właśnie o zdolność do dostrzegania pewnych cech, których normalnie - nieuzbrojonym okiem - nie da się dostrzec.

Systemy Resolve-Ables skupiają się na wizualizacji zjawisk za pomocą urządzeń noszonych. Techniką, którą autor wybrał do wizualizacji jest tzw. malowanie światłem, technika fotograficzna, która wykorzystuje długi czas naświetlania aparatu i ruchome źródło światła do tworzenia wizualizacji. Eksperymentalny charakter projektu sprawia, że w ramach tej techniki autor sporo eksperymentował z różnymi koncepcjami technicznymi. Pozwoliło to lepiej zilustrować te koncepcję w projekcie. Cały projekt składa się z trzech głównych urządzeń:

Urządzenie noszone, które może wykrywać pola magnetyczne w otoczeniu i steruje diodami LED umieszczonymi na dłoni użytkownika.
Sztuczny nos (AI), który może wizualizować przewidywalny zapach, korzystając z wbudowanego klasyfikatora.
System, który może wizualizować częstotliwości ultradźwiękowe za pomocą skryptu p5.js.

Pola magnetyczne

„Od czasu, gdy wszczepiłem sobie pierwszy implant magnetyczny (magnes wszczepiony pod skórę, który pozwala wyczuwać pola magnetyczne, ferromagnetyki itd. - przyp. red.), mam obsesję na punkcie pól magnetycznych” mówi tytułem wstępu do tej konstrukcji Hill.

Chciał on znaleźć jakiś sposób na podzielenie się wrażeniem z posiadania wspomnianego implantu magnetycznego z innymi ludźmi. Zaprezentowany pomysł polega na wizualizacji natężenia pola magnetycznego za pomocą lekkiego urządzenia do noszenia, które może wizualizować świetlnie wyniki pomiarów. Po wykryciu pola magnetycznego za pomocą czujnika GMR moduł diodowy NeoPixel zaświeci się, aby wizualizować siłę pola, a podczas fotografowania przy użyciu długiego czasu naświetlania można wizualizować różne pola lub ich rozkład w przestrzeni. Sposób, w jaki świecą diody, można przeprogramować, aby uzyskać kilka interesujących efektów (miganie, różne kolory, zmieniająca się liczba podświetlonych pikseli itp.), aby stworzyć interesujące wizualnie kombinacje.

Fotografia 4. Wszystkie elementy potrzebne do budowy układu

Na fotografii 4 pokazano wszystkie elementy potrzebne do budowy tego układu. Cała elektronika montowana jest na płytce drukowanej (pliki gerber do jej produkcji znaleźć można na stronie z projektem), na której instalowane są następujące moduły:

Arduino Nano (Autor użył wersji 33 BLE),
Przetwornica Adafruit MiniBoost 5 V z układem TPS61023,
Złącza JST PH 2.0.

Główna płytka z elektroniką jest instalowana w plastikowej obudowie, wraz z baterią, włącznikiem itp. Pliki, potrzebne do druku plastikowych elementów obudowy, dostępne są na stronie z projektem w portalu Instructables. Moduł ten montowany jest na nadgarstku za pomocą paska z rzepem. Zmontowany moduł, bez zamkniętej obudowy, pokazano na fotografii 5.

Fotografia 5. Urządzenie do wizualizacji pola magnetycznego, element montowany na nadgarstku

Głównym elementem tego urządzenia jest moduł z sensorem AAH002-02E składający się z samego sensora i wzmacniacza różnicowego. Wraz z modułem diodowym Neopixel montowany jest on na palcu użytkownika za pomocą niewielkiego plastikowego uchwytu (fotografia 6). Zastosowany moduł sensora korzysta z analogowego modułu bazującego na efekcie gigantycznego magnetooporu. Sam sensor umieszczony jest w mostku pomiarowym, polaryzowanym napięciem zasilania. Napięcie niezrównoważenie tego mostka mierzone jest z pomocą prostego wzmacniacza różnicowego, którego wzmocnienie skonfigurowano na 25 V/V. Napięcie wyjściowe z tego modułu zależne jest od pola magnetycznego i, jak to w przypadku mostków Wheatstone’a, napięcia zasilania. Typowa czułość sensora wynosi 3,75 V/V/mT.

Fotografia 6. Moduł sensora i diod RGBW do noszenia na palcu podczas korzystania z urządzenia

Sensor dołączony jest do wejścia analogowego modułu Arduino (A0). Wbudowany przetwornik analogowo-cyfrowy mierzy to napięcie. Odczytany kod ADC jest następnie przekształcany z 10 bitów na 8 bitów, które służą do wysterowania koloru diod RGB:

sensorValue = analogRead(A0);
outputValue = map(sensorValue, 0, 1023, 0, 255);

Diody połączone są ze sobą szeregowo interfejsami sterującymi. Do obsługi dołączonych diod RGB użyto biblioteki Adafruit NeoPixel. Dokładny algorytm konwersji wartości outputValue na układ kolorów na ośmiu diodach może być różny - na stronie z projektem znaleźć można trzy różne szkice Arduino, implementujące różne zachowanie diod:

Liniowa zmiana koloru (od czerwonego do białego - R, G, B, W), wraz z zapalaniem poszczególnych diod na pasku,
Zapalanie poszczególnych diod na pasku, ale wszystkie diody są białe,
To samo, co w pierwszym przypadku, ale diody migają. Daje to ciekawy efekt na zdjęciach, podczas malowania światłem, gdyż diody mrugając, nie rysują ciągłych linii, a punkty lub rozłączone kreski (w zależności od prędkości ruchu ręki w czasie ekspozycji zdjęcia).

Zaprogramowany sensor można od razu użyć do malowania światłem. Aparat konfigurujemy do bardzo długiej ekspozycji (ustawiając stosownie wszystkie inne parametry: wartość ISO, przysłonę itd.), najlepiej w ciemności. Przesuwamy następnie modułem w miejscu, gdzie chcemy obrazować pole magnetyczne. Wyniki takiego działania pokazano na fotografii 7.

Fotografia 7. Rezultaty pomiarów pola magnetycznego za pomocą modułu do „malowania światłem”

Zapach

Kolejnym rozszerzeniem naszej percepcji, zostało urządzenie do wizualizowania zapachów. System ten wykorzystuje wielokanałowy sensor gazowy oraz algorytmy uczenia maszynowego, do identyfikacji zapachów. Kompletny moduł pokazano na fotografii 8. Sercem układu jest Seeed Studio Wio Terminal - moduł oparty na mikrokontrolerze SAMD51, który oprogramować można za pomocą Arduino lub MicroPythona. Moduł ten wyposażony jest między innymi w wyświetlacz TFT o wielkości 2,4” i dostatecznie dużą moc obliczeniową, aby uruchamiać modele AI w czasie zbliżonym do rzeczywistego.

Fotografia 8. Moduł do wizualizacji zapachów z elektronicznym nosem

Szybka analiza danych zbieranych przez wielokanałowy sensor gazowy firmy Grove jest istotna w przypadku malowania światłem, ponieważ, musimy przesuwać sensor w czasie robienia zdjęcia, a ruch ten nie może być nazbyt wolny, inaczej czasy ekspozycji zdjęcia rozciągałyby się w nieskończoność.

Moduł sensora gazowego, to cztery sensory gazowe podłączone do jednego kontrolera, z wspólnym adresem I²C. Na pokładzie płytki znajdziemy:

GM-102B - sensor dwutlenku azotu (NO₂),
GM-302B - sensor par alkoholu etylowego,
GM-502B - czujnik lotnych związków organicznych (wykrywa pary etanolu, formaldehydu, toluenu itp.),
GM-702B - czujnik wodoru (H₂) i tlenku węgla (CO).

Użytkując ten moduł należy pamiętać, że sensory te do działania osiągać muszą dosyć wysoką wewnętrzną temperaturę obszaru aktywnego. Nie działają, zanim jej nie osiągną, wiec po uruchomieniu muszą się nagrzać, by móc pracować z odpowiednią dokładnością i czułością.

Sensor umieszczony są w wydrukowanym w 3D, plastikowym… nosie (patrz fotografia 9a). Połączony jest on przewodem z modułem Wio Terminal, jaki umieszczono na elastycznym pasku na nadgarstku. Ekran urządzenia jest w większości zakryty, pozostawione jest tylko okrągłe wycięcie (fotogtrafia 9b). Koresponduje ono z kolorowym okręgiem, jaki wyświetlany jest na ekranie w czasie pracy.

Fotografia 9. Plastikowy nos, pełniący funkcję obudowy dla sensora gazów jest połączony z modułem zamontowanym na nadgarstku z wycięciem dla fragment ekranu

Oprogramowanie, umieszczone w repozytorium na GitHubie, składa się z kilku elementów napisanych w Pythonie i Arduino. Kluczowy element skryptu (listing 1), to ten, który wykorzystuje wyniki działania klasyfikatora (result.classification) i na ich podstawie wyświetla okrąg w kolorze zielonym, białym lub czerwonym, w zależności od klasyfikacji zapachu, jaki wykrył sensor. Układ uczony był na dwóch zapachach - perfum Creed i eukaliptusa.

Listing 1. Kluczowy fragment skryptu sensora zapachów

if(result.classification[max_idx].label == "creed"){
max_val = mapFloat(max_val, 0.0, 1.0, 0, 115);
tft.fillCircle(160, 120, max_val, TFT_GREEN);
}
if(result.classification[max_idx].label == "ambient"){
max_val = mapFloat(max_val, 0.0, 1.0, 0, 115);
tft.fillCircle(160, 120, max_val, TFT_WHITE);
}
if(result.classification[max_idx].label == "eucalyptus"){
max_val = mapFloat(max_val, 0.0, 1.0, 0, 115);
tft.fillCircle(160, 120, max_val, TFT_RED);
}

Jeśli chcemy wytrenować algorytm AI do rozpoznawania innych zapachów, autor podaje link do tutoriala poświęconego uczeniu klasyfikatora, zastosowanego w algorytmie. Pozwala to zmodyfikować ilość i rodzaj wykrywanych zapachów, aby dostosować system do naszych potrzeb. Teraz pozostaje tylko ustawić pachnące przedmioty, skonfigurować odpowiednio aparat (długi czas naświetlania) i zrobić zdjęcie, aby uzyskać efekt taki, jak pokazano na fotografii 10.

Fotografia 10. Namalowana światłem wizualizacja zapachów

Ultradźwięki

Ostatnim urządzeniem z omawianej serii, jest układ do obrazowania ultradźwięków. Układ ten, który Hill nazywa „trzecim uchem” umożliwia słuchanie, jak i wizualizację częstotliwości ultradźwiękowych. Dla ludzi, normalny zakres słyszalności, obejmuje częstotliwości od około 20 Hz do 20 kHz. Zaczyna się od maksymalnej częstotliwości słyszenia 20 kHz, jako niemowlę, a jako dorośli słuch pogarsza się do słyszenia doi około 17 kHz lub niżej. Przedstawionym w projekcie trzecim uchem można wykrywać czy nawet usłyszeć częstotliwości od 20 kHz do 100 kHz, umożliwiając zupełnie nowe poznawanie otoczenia. Można słyszeć te częstotliwości w czasie rzeczywistym za pomocą przewodowych słuchawek lub wizualizować zjawiska za pomocą skryptu napisanego na komputerze. Urządzenie może również umożliwić przyjęcie nowej perspektywy, ponieważ można usłyszeć częstotliwości podobne do tych słyszanych przez psa (40 kHz), kota (64 kHz) czy nietoperza (100 kHz).

Urządzenie zbiera sygnały z zakresu częstotliwości ultradźwiękowych w pasmie od 20 kHz do 100 kHz i przekształca je w zakres, słyszalny (20 Hz…20 kHz). Moduł można wykorzystać, aby słuchać sygnałów w czasie rzeczywistym lub nagrywać je na komputerze w celu tworzenia wizualizacji Nic nie stoi na przeszkodzie również, by wykorzystać je w inny, kreatywny sposób do wizualizacji sygnałów ultradźwiękowych, jak w powyższych przypadkach.

Fotografia 11. Układ do „słuchania” ultradźwięków

Trzecie ucho pokazane jest na fotografii 11. System składa się z wydrukowanego w 3D modelu małżowiny usznej, w której zainstalowano mikrofon piezoelektryczny, pozwalający na zbieranie ultradźwięków, oraz modułu z kitem, który oryginalnie był przeznaczony do podsłuchiwania nietoperzy. W Internecie znaleźć można wiele rozwiązań tego problemu. W przypadku wspomnianego zestawu, zastosowano scalony odbiornik radiowy TA2003, który może demodulować sygnały AM i FM. W tym przypadku wykorzystywana jest część odpowiedzialna za modulację AM. Na wejście sygnału radiowego podawany jest sygnał z mikrofonu, a na wejście demodulujące sygnał z prostego generatora sygnału na timerze NE555. Demoduluje to ultradźwięki, przekształcając sygnał do pasma akustycznego.
Akustyczny sygnał wyjściowy wzmacniany jest za pomocą op-ampa i podawany na słuchawki, które założone są na uszach użytkownika lub przekazywany do komputera, gdzie specjalny skrypt w JavaScripcie wylicza i wizualizuje widmo sygnału. Na fotografii 12 pokazano zdjęcie obrazowanego obszaru wraz z nałożonymi, wygenerowanymi widmami.

Fotografia 12. Zdjęcie obrazowanego obszaru wraz z nałożonymi, wygenerowanymi widmami

Podsumowanie

Jakkolwiek podstawowe motywacje tego projektu były raczej artystyczne, to jest on bardzo ciekawym punktem wyjścia do wszelakich konstrukcji, mających poszerzać nasze zmysły. Autor, Chris Hill, zaprezentował ciekawe sensory, które pozwalają na pomiar natężenia pola magnetycznego czy też analizę sygnałów ultradźwiękowych. Dodatkowo, zaprezentowany został system, który umożliwia analizowanie - w ograniczonym zakresie - zapachów, bazując na pięciu, relatywnie prostych sensorach gazowych.

System wizualizacji powyższych pomiarów zapewnia intuicyjnie zrozumiały sposób prezentacji danych. Malowanie światłem pozwala uzyskać nie tylko ładne i ciekawe efekty, ale także w prosty sposób zaprezentować wyniki pomiarów. Wadą tego podejścia jest brak możliwości prezentacji pomiarów w ścisły sposób, z pomiarami ilościowymi… ale czy nasze zmysły potrafią to robić?

Nikodem Czechowski, EP

Bibliografia: