Świat technologii ma wiele wspólnego ze światem mody. Oboma na przykład rządzą trendy. W poprzednim sezonie modne były Data Lake, które teraz są już passe. W tym sezonie na topie jest Machine Learning. A co będzie modne w kolejnym? Ciężko zgadnąć.
Zawsze warto trzymać rękę na pulsie, jednak ślepe podążanie za modą bywa niebezpieczne. Możemy ewentualnie zaakceptować, jeśli w naszej szafie znajdzie się płaszcz, którego już nigdy nie założymy. Dużo gorzej, jeśli nasze Towarzystwo Ubezpieczeń zainwestuje kilka milionów złotych i kilka lat pracy w rozwiązanie, które było tylko chwilową modą. A taki scenariusz jest niestety bardzo częsty w organizacjach biznesowych. Jak się ustrzec takiego błędu? Czy warto wdrażać Machine Learning?
Jakimi prawami rządzi się moda?
Po pierwsze musimy zrozumieć, jak działa mechanizm mody w technologii. Nowe technologie w pierwszej kolejności zyskują coraz więcej rozgłosu i dochodzą do apogeum popularności. Trzymając się przykładu Data Lake, w szczycie oczekiwań wieszczono, że jeziora danych są rozwiązaniem problemu Big Data, zastąpią przestarzałe hurtownie danych i niemal zbawią świat. Wiele firm właśnie w momencie takiego hype’u inwestuje w technologię. A później pojawiają się problemy.
Dość szybko okazuje się, że oczekiwania były zbyt wygórowane, a technologia Data Lake ani nie rozwiązuje wszystkich problemów (bo żadna nie rozwiązuje), ani nie jest dość dojrzała, żeby ją szeroko zastosować. Następuje więc zupełne odwrócenie sposobu myślenia o Data Lake i pojawiają się głosy, że są one bezużyteczne i nie należy ich wykorzystywać. Ale to także nieprawda.
W końcu następuje pewna stabilizacja, zaczynamy rozumieć, kiedy warto zastosować daną technologię, a kiedy jest ona bezużyteczna. W przypadku Data Lake zrozumieliśmy, że nie zastępują one hurtowni danych, bo są zupełnie innym rozwiązaniem. Natomiast możemy znaleźć dla nich inne ciekawe zastosowania.
Zrozumieć technologię
Drugim etapem jest próba zrozumienia silnych i słabych stron danej technologii. W przypadku Data Lake mamy trzy kluczowe przewagi. Po pierwsze tego typu rozwiązanie w przeciwieństwie do hurtowni danych wspiera przetwarzanie danych niestrukturalnych jak pliki PDF, filmy, zdjęcia czy dźwięki. Po drugie jest stworzony w celu przechowywania ogromnych ilości surowych danych. Po trzecie generowane przez niego koszty są niższe niż w przypadku klasycznych baz danych.
Z drugiej strony Data Lake ma też wady. Po pierwsze dostęp do danych wymaga znajomości jednego z języków programowania. Po drugie dane w Data Lake z założenia nie mają struktury analitycznej, więc trzeba ją sobie tworzyć samodzielnie (ang. schema-on-read). Po trzecie Data Lake nie zapewnia wielu mechanizmów kontrolujących jakość danych w zakresie ich poprawności czy spójności.
Wybrać scenariusz
Zrozumienie zalet i wad technologii pozwoli nam w trzecim kroku ocenić możliwe scenariusze jej zastosowania. Biorąc pod uwagę zdolność do przechowywania ogromnych ilości różnorodnych danych w rozsądnych kosztach, ciekawymi zastosowaniami Data Lake będą: zbieranie wszystkich danych z organizacji na potrzeby dalszej budowy hurtowni danych, zbieranie zdjęć szkód komunikacyjnych na potrzeby dalszego przetwarzania przez algorytmy Sztucznej Inteligencji lub zbieranie miliardów rekordów generowanych przez urządzenia IoT wpięte w samochody w ramach obsługi polis komunikacyjnych typu „pay as you drive”.
Z drugiej strony Data Lake ze względu na niepewną jakość danych, jak i brak narzuconego schematu nie przyda się do: zastąpienia hurtowni danych, jako źródło raportowania wyniku finansowego towarzystwa ubezpieczeniowego czy jako bezpośrednie źródło danych dla algorytmów machine learning oceniających ryzyko ubezpieczeniowe, czy prawdopodobieństwo odejścia klienta.
Zawsze w modzie
Na początku napisałem, że świat technologii jest podobny do świata mody. I w obu przypadkach możemy zastosować zbliżone strategie. Z jednej strony możemy co roku wyrzucać wszystkie nasze ubrania i kupować nowe – aktualnie modne. Z drugiej strony rdzeń naszej szafy mogą stanowić ubrania klasyczne, które zawsze sprawdzą się w określonych warunkach. I chodzi mi tu nie tylko o klasyczny garnitur czy „małą czarną”, ale i o kurtkę przeciwdeszczową z dobrą membraną.
Zamiast koncentrować się na modzie i co roku wchodzić w „najnowsze” i „najlepsze” technologie lepiej skupić się na doborze właściwych rozwiązań dopasowanych do naszych potrzeb. Bo prawda jest taka, że najnowsze technologie nie rozwiązują żadnych problemów. Robią to dopiero te dobrze dobrane. To właśnie one będą nam świetnie służyć i długo nie wyjdą z mody.
