Pierwsze trzydzieści dni wdrożenia: co da się zmierzyć

Pytanie „czy to się opłaciło” po miesiącu od uruchomienia jest źle postawione. Miesiąc to za krótko, żeby efekt zdążył się przełożyć na wynik, i akurat tyle, żeby zdążyć się zniechęcić.

Dobrze postawione pytanie brzmi inaczej: czy to idzie w stronę, w którą miało iść. Na to odpowiedź po czterech tygodniach już jest, o ile wcześniej ustalono, czego się szuka.

Ustal punkt odniesienia, zanim cokolwiek się zmieni

To jest jedyny krok, którego nie da się nadrobić później, i najczęściej pomijany. Po uruchomieniu nikt nie pamięta, ile naprawdę trwała obsługa sprawy przedtem. Pojawiają się liczby z pamięci, a te są systematycznie zbyt optymistyczne.

Pomiar przed startem nie musi być elegancki. Dwa tygodnie ręcznego notowania w arkuszu wystarczą, jeśli notuje się to samo, co potem będzie liczył system. Ważne, żeby definicja była zapisana: co dokładnie znaczy „czas obsługi”, od którego zdarzenia do którego. Bez tego porównanie po miesiącu porównuje dwie różne rzeczy i wychodzi z niego dowolna teza.

Cztery tygodnie, cztery różne pytania

Wdrożenie nie jest jednorodne. Każdy tydzień odpowiada na inne pytanie i mierzy się go czym innym.

• Tydzień 1 - czy w ogóle działa. Interesuje wyłącznie to, czy dane wchodzą i wychodzą tam, gdzie miały. Żadnych wniosków o efektywności, bo wszyscy jeszcze klikają wolniej niż zwykle.
• Tydzień 2 - czy ludzie tego używają. Odsetek spraw, które przeszły nową ścieżką, w stosunku do wszystkich. To jest najważniejsza liczba całego miesiąca.
• Tydzień 3 - gdzie obchodzą system. Obejścia zawsze są. Pytanie brzmi, czy wynikają z braku wprawy, czy z tego, że stara droga jest naprawdę szybsza.
• Tydzień 4 - czy wskaźnik docelowy drgnął. Dopiero teraz i tylko jako kierunek, nie jako wynik.

Odwrócenie tej kolejności jest najczęstszym błędem. Patrzenie na wskaźnik docelowy w pierwszym tygodniu daje odczyt, który nic nie znaczy, a potrafi zabić projekt.

Obejścia są informacją, nie przewinieniem

W każdym wdrożeniu część zespołu wraca do starego sposobu. Naturalny odruch to przypomnieć o procedurze. To zwykle błąd, bo obejście jest najtańszym audytem, jaki dostaniesz.

Ludzie nie omijają systemu ze złośliwości. Omijają, bo w konkretnej sytuacji stara droga jest szybsza albo nowa czegoś nie obsługuje. Warto to potraktować dosłownie i zapytać o konkretną sprawę, a nie o ogólne wrażenia.

Różnica między pytaniem, które nic nie daje, a takim, po którym da się coś naprawić, jest duża. To pierwsze:

Jak wam się pracuje z nowym systemem?

I to samo zadane tak, żeby odpowiedź była użyteczna:

Wczoraj trzy sprawy poszły starą drogą. Możemy przejść przez jedną z nich krok po kroku i zobaczyć, w którym momencie nowa ścieżka była wolniejsza?

Pierwsze pytanie dostanie „w porządku” i zero informacji. Drugie zwykle dostaje konkret, który da się poprawić w godzinę.

Trzy liczby, które mówią prawdę wcześnie

Niezależnie od tego, czego dotyczy wdrożenie, te trzy liczby są dostępne od pierwszego tygodnia i są uczciwe.

• Pokrycie - jaki odsetek przypadków przeszedł nową ścieżką. Rosnące pokrycie przy stałym wskaźniku docelowym mówi, że proces działa, ale nie tam, gdzie boli.
• Odsetek korekt - jak często człowiek poprawia to, co zaproponował system. Spadający oznacza uczenie się w dobrą stronę. Stały oznacza, że reguły nie nadążają.
• Czas do pierwszego działania - od zdarzenia do pierwszej reakcji. Ten wskaźnik reaguje najszybciej ze wszystkich, bo nie zależy od tego, jak długo trwa sama praca.

Wskaźnik docelowy, ten, który był powodem całego wdrożenia, warto obserwować, ale nie wyciągać z niego wniosków przed drugim miesiącem. Ma za dużo szumu i za mało obserwacji.

Zakres, który rośnie, to nie sukces

W trzecim tygodniu prawie zawsze pojawia się propozycja: skoro już to robimy, dołóżmy jeszcze jeden proces. To najczęstszy sposób, w jaki dobre wdrożenie zamienia się w wdrożenie bez końca.

Zasada, która się broni: dopóki pierwszy proces nie jest zamknięty i zmierzony, nic się nie dokłada. Propozycje trafiają na listę, lista jest jawna, i to zwykle wystarczy, żeby nikt nie miał poczucia, że jego zgłoszenie przepadło. Poszerzanie zakresu przed pierwszym pomiarem odbiera możliwość odpowiedzi na pytanie, czy pierwszy krok w ogóle zadziałał.

Co powinno być gotowe trzydziestego dnia

Nie zwrot z inwestycji. Cztery rzeczy, które razem pozwalają podjąć decyzję o kolejnym kroku.

• Punkt odniesienia sprzed startu, zapisany razem z definicjami.
• Pokrycie powyżej progu, który ustalono na początku, albo wiedza, dlaczego go nie ma.
• Lista obejść z powodem przy każdym, a nie z liczbą przypadków.
• Jedno zdanie o kierunku wskaźnika docelowego, z uczciwym zaznaczeniem, że to jeszcze nie jest wynik.

Jeśli te cztery rzeczy są, decyzja o kontynuacji jest łatwa niezależnie od tego, czy brzmi „idziemy dalej”, czy „zatrzymujemy się”. Jeśli ich nie ma, kolejne trzydzieści dni niczego nie wyjaśni.

Gdzie to stoi w Omnirze

Wchodzi się jednym modułem, nie całą platformą, i właśnie po to: żeby pierwsze trzydzieści dni dotyczyło jednego procesu, który da się zmierzyć. Kolejne moduły dokładają się do tego samego kontekstu organizacji, więc drugi krok jest krótszy od pierwszego.

Jeśli masz proces, który zjada więcej, niż powinien, umów rozmowę. Zaczynamy od tego, co dziś mierzysz, bo od tego zależy, czy po miesiącu będzie z czym porównać.

Najczęstsze pytania

Nie mamy żadnego punktu odniesienia, jest za późno? Nie, ale trzeba to nazwać wprost. Wtedy pierwsze dwa tygodnie po starcie służą do zbudowania odniesienia, a okno oceny przesuwa się o te dwa tygodnie. Gorsze jest udawanie, że odniesienie się pamięta.

Jakie pokrycie jest dobre po miesiącu? Nie ma jednej liczby, bo zależy od tego, ile przypadków w ogóle nadaje się na nową ścieżkę. Próg ustala się przed startem razem z zespołem i to jest ważniejsze niż jego wysokość.

Czy da się skrócić ten miesiąc? Sam pomiar nie, bo potrzebuje obserwacji. Skrócić da się to, co przed nim: im węższy pierwszy proces, tym szybciej wchodzi i tym czystszy jest odczyt.

Co, jeśli po trzydziestu dniach wskaźnik nie drgnął? To normalne i nie jest to odpowiedź na pytanie o sens wdrożenia. Odpowiedzią jest pokrycie i odsetek korekt. Jeśli pokrycie rośnie, a korekty spadają, wskaźnik zwykle rusza w drugim miesiącu. Jeśli pokrycie stoi, problem jest gdzie indziej i drugi miesiąc tego nie naprawi.