Od reguł do analizy z wykorzystaniem modeli językowych. Pokazujemy, jak przygotowujemy pomiary i tworzymy wnioski uwzględniające kontekst.
Zebrane pomiary są punktem wyjścia. W Aidlab pracujemy nad tym, aby pomagały również rozumieć codzienne zmiany i nawyki. Zaczęliśmy od aplikacji mobilnej Aidlab, która odbierała sygnały z pasa i wyznaczała wskaźniki. Z EKG obliczamy na przykład odstępy RR, a z nich zmienność rytmu serca, czyli HRV.
Kolejny krok to łączenie kilku rodzajów pomiarów. Przy szacowaniu zużycia kalorii uwzględniamy tętno, jego wartość maksymalną i spoczynkową, masę ciała, aktywność oraz płeć. Do wykrywania kaszlu wykorzystujemy poziom dźwięku i ruchy klatki piersiowej.
Przykłady wskaźników wyznaczanych z pojedynczych sygnałów i z połączenia kilku pomiarów.
Na tej podstawie rozwinęliśmy Aidlab Teams, gdzie można porządkować i przeglądać złożone zapisy pomiarów.
Aidlab Teams
Same wykresy nie zawsze wyjaśniały użytkownikom, co się zmieniło.
W 2021 roku zaczęliśmy więc budować system analizy oparty na regułach. Miał wyjaśniać proste zmiany w codziennej aktywności i zachęcać do działania.
Zaczęliśmy od aktywności
Mieliśmy ograniczone zasoby i potrzebowaliśmy użytecznego punktu startowego. Wybraliśmy aktywność fizyczną: łatwo zbierać o niej dane, a nawet proste porównania mogą pokazać zmianę codziennych zwyczajów.
Regularny ruch jest częścią dbania o zdrowie. Zapisy aktywności pomagają sprawdzić, czy utrzymujesz wybrany nawyk i jak zmieniają się pomiary w kolejnych tygodniach.
Analizowaliśmy na przykład średnią dzienną liczbę kroków użytkowników w ostatnich miesiącach i porównywaliśmy ją z wcześniejszymi okresami. Ten prosty trend pozwalał wielu osobom zauważyć istotne zmiany w codziennej rutynie.
Od reguł do spersonalizowanych wniosków
Proste reguły szybko przestały wystarczać. Niska liczba kroków przez siedem kolejnych dni może wynikać z choroby, zmiany planu dnia lub mniejszej motywacji. Aby odróżnić takie sytuacje, trzeba uwzględnić więcej danych i zwyczaje konkretnej osoby. Dopisywanie kolejnych reguł zajmowało coraz więcej czasu i zwiększało ryzyko błędów.
Potrzebowaliśmy systemu, który porównuje wiele pomiarów i uwzględnia ich kontekst. Tak powstało AI Insights.
AI Insights zestawia zmiany wskaźników z codziennymi zwyczajami i aktywnością. Dzięki temu może przygotować wniosek odnoszący się do sytuacji użytkownika.
Jeśli zwykle spacerujesz rano do kawiarni, a ostatnio przestałeś, system może zauważyć zmianę aktywności. Przyczyną może być nowy plan dnia albo mniejsza ilość energii. AI Insights może przypomnieć o krótkim spacerze lub przerwie. To sugestia oparta na zmianie w danych, a nie ustalenie jej przyczyny.
Przypomnienia o ruchu i zauważanie postępów mają również pomagać w utrzymaniu wybranych nawyków.
Jak działa AI Insights
Duże modele językowe (LLM) pomagają nam interpretować dane, z którymi poprzedni system sobie nie radził. Mogą jednak generować błędne odpowiedzi, a ich obliczenia bywają niedokładne. Dlatego potrzebne wartości wyliczamy, zanim przekażemy dane modelowi.
Jakie dane przekazujemy modelowi?
Przed przekazaniem danych modelowi przetwarzamy sygnały EKG i dźwięku. Wyznaczamy wskaźniki i zestawiamy je w wybranych okresach. Model otrzymuje uporządkowane dane, które pozwalają mu porównywać na przykład zmiany aktywności i tętna. Surowe próbki przetwarzamy wcześniej, poza modelem LLM.
Na wyniki wpływają codzienne zwyczaje, aktywność i stres. Wcześniej korzystaliśmy z osobnych modeli dla różnych rodzajów danych. LLM pozwala zestawić te informacje w jednej analizie i uwzględnić ich wzajemne zależności.
Zachowaliśmy część wcześniejszego systemu do zbierania danych i wykonywania obliczeń. Wyznacza on na przykład średnie dla określonych przedziałów czasu, uwzględniając aktywność i pomiary z czujników. Dopiero te uporządkowane wyniki przekazujemy modelowi.
Uproszczony przebieg procesu wygląda tak:
-
Przygotowanie danych wyższego poziomu i danych obliczanych na podstawie danych surowych
Wyznaczamy wskaźniki potrzebne do dalszej analizy, stosując między innymi uśrednianie, filtrowanie i próbkowanie. Część obliczeń wykonuje urządzenie Aidlab, co ogranicza ilość danych przesyłanych przez Bluetooth. Z sygnału dźwiękowego wyodrębniamy na przykład parametry opisujące jego cechy (
sound features). Do modelu trafiają przygotowane wskaźniki zamiast strumieni surowych próbek. -
Agregacja w przedziałach czasu
Grupujemy dane w przedziałach czasu, aby porównywać na przykład liczbę kroków z ostatniego tygodnia, miesiąca i roku. Osobno możemy uwzględnić treningi lub pomiary kontrolne. Zdarzenia dotyczące użytkownika pomagają dobrać zakres analizy.
-
Porządkowanie danych i zapisywanie ich w pamięci podręcznej
Zagregowane dane zapisujemy w ustalonym formacie i przechowujemy w pamięci podręcznej.
-
Przetwarzanie danych i generowanie wyników
LLM interpretuje dane i zwraca wynik w formacie JSON zgodnym z określonym schematem. Sprawdzamy go według ustalonych reguł i miar, zapisujemy w pamięci podręcznej i odświeżamy co godzinę.
Co daje ta zmiana
Możemy również zestawiać wyniki z danymi grup użytkowników. Na przykład porównać tętno spoczynkowe z wartościami obserwowanymi w grupie o podobnym wieku i tej samej płci. To dodatkowy kontekst dla własnych pomiarów.
AI Insights jest też dostępne przez Aidlab API, dzięki czemu programiści i badacze mogą włączyć tę funkcję bezpośrednio do swoich aplikacji.
Prywatność Twoich danych
Danych pozwalających zidentyfikować osobę nie wykorzystujemy do celów niezwiązanych z poprawą jakości korzystania z usługi. Niektóre funkcje, na przykład oś czasu opisująca codzienne zwyczaje, wymagają osobnego włączenia. Możesz zdecydować, ile informacji chcesz udostępnić.
