Prognoza, której nikt nie otwiera, nie jest prognozą

Prawie każda firma, która wdrażała predykcję, ma gdzieś raport, do którego nikt nie zagląda. Zwykle jest dobry. Zwykle ma przyzwoitą trafność. I zwykle nie zmienił niczyjej decyzji ani razu.

To nie jest porażka modelu. To porażka miejsca, w którym go postawiono. Prognoza wpływa na firmę tylko wtedy, gdy trafia do kogoś, kto w tym momencie i tak podejmuje decyzję, i mówi mu coś, czego bez niej by nie wiedział.

Trafność jest warunkiem koniecznym i niewystarczającym

Wyobraź sobie model, który przewiduje, którzy klienci odejdą w przyszłym kwartale, i robi to bardzo dobrze. Raport ląduje w skrzynce dyrektora sprzedaży w pierwszy poniedziałek miesiąca. Co się dzieje dalej?

Zwykle nic. Nie dlatego, że dyrektor jest leniwy, tylko dlatego, że lista nazw firm bez kontekstu nie jest zadaniem dla nikogo. Nie wiadomo, kto ma zadzwonić, z czym, i czy ktoś już nie dzwonił w zeszłym tygodniu. Żeby zamienić tę listę w działanie, ktoś musi wykonać całą pracę, którą model miał zaoszczędzić.

Ten sam model wpięty w moment, w którym opiekun otwiera kartę klienta, i pokazujący jedno zdanie razem z powodem, zmienia rozmowę, którą opiekun i tak miał odbyć. Model jest identyczny. Różnica jest w tym, gdzie stoi.

Trzy pytania przed zbudowaniem czegokolwiek

Zanim ktokolwiek dotknie danych, warto mieć odpowiedzi na trzy pytania. Brak choćby jednej z nich prawie zawsze kończy się raportem, o którym mowa wyżej.

• Jaka decyzja ma się zmienić? Nie „chcemy przewidywać odejścia”, tylko „opiekun ma zadzwonić do innych pięciu klientów w tym tygodniu niż zadzwoniłby bez tego”.
• Kto ją podejmuje i w jakim momencie? Konkretna rola i konkretny ekran. Jeśli odpowiedź brzmi „zarząd, na miesięcznym przeglądzie”, to prognoza z horyzontem tygodnia jest bezużyteczna.
• Co ta osoba zrobi inaczej? Musi istnieć działanie, które jest w jej zasięgu. Prognoza popytu jest bezcenna dla kogoś, kto składa zamówienia, i bez znaczenia dla kogoś, kto ich nie składa.

Jeśli na którekolwiek pytanie nie ma odpowiedzi, problem nie jest w modelu i nie rozwiąże go lepszy model.

Horyzont ma pasować do czasu reakcji

Częsty błąd projektowy: prognoza z horyzontem krótszym niż czas potrzebny na zareagowanie. Model mówi, że za trzy dni zabraknie towaru, a dostawa idzie dwa tygodnie. Prognoza jest prawdziwa i nic nie da się z nią zrobić poza zdenerwowaniem się.

Reguła jest prosta: horyzont musi być dłuższy niż najdłuższy czas reakcji w tym procesie, z zapasem na decyzję. Jeśli reakcja trwa dwa tygodnie, prognoza na miesiąc jest użyteczna, na tydzień jest ciekawostką. To ustawia się na początku i wpływa na to, jakie dane w ogóle mają sens.

Niepewność trzeba pokazać, nie schować

Prognoza podana jako jedna liczba wygląda pewniej niż jest i uczy ludzi nieufności, gdy tylko raz się pomyli. Prognoza podana z przedziałem uczy czegoś przeciwnego: że to jest narzędzie, które ma swoją dokładność, a nie wyrocznia.

Różnica w praktyce wygląda tak. Zapis, który wygląda solidnie, a nie da się na nim oprzeć decyzji:

Przewidywana sprzedaż w przyszłym miesiącu: 412 sztuk.

I ten sam wynik podany tak, żeby dało się z nim coś zrobić:

Przewidywana sprzedaż w przyszłym miesiącu: 380 do 450 sztuk, przy założeniu braku promocji. Największy wpływ na wynik ma jeden klient hurtowy, który w ostatnich trzech miesiącach zamawiał nieregularnie.

Drugi zapis pozwala zaplanować zapas na 450 i wiedzieć, gdzie patrzeć, gdy coś pójdzie inaczej. Pierwszy pozwala tylko mieć pretensje, gdy wyjdzie 430.

Model, który się nie uczy z korekt, starzeje się w ciszy

Firma zmienia się szybciej niż dane historyczne, na których model powstał. Nowy segment klientów, zmiana cennika, sezon, który wypadł inaczej niż zwykle. Model tego nie wie, dopóki ktoś mu nie powie.

Najtańszy mechanizm uczenia to zapisywanie korekt. Ktoś zobaczył prognozę i zrobił coś innego? To jest informacja. Powtarzająca się korekta w tę samą stronę oznacza, że model systematycznie się myli w konkretnym miejscu, i wskazuje dokładnie gdzie. To działa lepiej niż okresowy przegląd trafności, bo dzieje się przy okazji normalnej pracy.

Warunek jest jeden: korekta musi być łatwiejsza niż obejście systemu. Jeśli poprawienie prognozy wymaga trzech kliknięć, a zignorowanie jej zera, ludzie będą ignorować i nikt się o tym nie dowie.

Kiedy predykcja jest za wcześnie

Są sytuacje, w których uczciwa odpowiedź brzmi „jeszcze nie”. Warto je znać, bo nieudane wdrożenie predykcji zniechęca organizację na lata.

• Dane o zdarzeniu powstają po fakcie i ręcznie. Jeśli informacja o utracie klienta pojawia się w systemie, gdy ktoś ją tam wpisze trzy tygodnie później, model uczy się na opóźnionej rzeczywistości.
• Decyzja jest rzadka i wysokostawkowa. Przy kilkunastu decyzjach rocznie nie ma z czego się uczyć ani na czym zmierzyć poprawy. Tam lepiej działa dobrze przygotowany kontekst niż prognoza.
• Nie ma nikogo, kto tę decyzję podejmuje. Brzmi absurdalnie, a zdarza się często: proces jest rozmyty na cztery działy i prognoza nie ma adresata.

Gdzie to stoi w Omnirze

Za tę warstwę odpowiada Predict. Zasada jest ta sama, co wyżej: prognoza nie ma własnego ekranu, tylko wchodzi tam, gdzie decyzja i tak się podejmuje, razem z przedziałem i z powodem. Korekty wracają do modelu, więc strojenie dzieje się w trakcie pracy.

Jeśli chcesz sprawdzić, czy twoja decyzja nadaje się pod predykcję, zacznij od rozmowy. Pierwsze pytanie i tak będzie brzmiało, co ma się zmienić, a nie jakie masz dane.

Najczęstsze pytania

Ile danych historycznych trzeba mieć? Mniej, niż się mówi, ale muszą pokrywać cykl, który przewidujesz. Do sezonowości rocznej dwa pełne lata są minimum, do prognozy tygodniowej kilka miesięcy potrafi wystarczyć. Ważniejsze od ilości jest to, czy dane opisują rzeczywistość, czy moment jej wpisania do systemu.

Czy to musi być uczenie maszynowe? Nie. Sporo decyzji poprawia zwykła reguła oparta na progu, wyliczona z danych. Model warto dołożyć, gdy reguła przestaje nadążać za liczbą wyjątków, a nie na starcie.

Jak przekonać zespół, który raz już dostał raport i przestał go otwierać? Nie kolejnym raportem. Najszybciej działa pokazanie prognozy w miejscu, w którym ten zespół i tak pracuje, i przez dwa tygodnie tylko jako podpowiedź, bez żadnego wymagania. Jeśli po dwóch tygodniach nikt jej nie używa, to jest odpowiedź o wartości prognozy, a nie o zespole.

Co z danymi wrażliwymi? Predykcja nie wymaga wynoszenia danych poza firmę, jeśli policzy się ją tam, gdzie one stoją. To jest decyzja architektoniczna podejmowana na początku i warto ją podjąć świadomie, a nie odkryć w trakcie audytu.