Zmęczenie alertami to problem projektowy, a nie dyscyplinarny
Autor: Zespół Atflow
Każdy zespół, który prowadzi dyżury od ponad roku, ma ten sam kanał: założony w dobrej wierze, wyciszony przez połowę inżynierów i sprawdzany dopiero wtedy, gdy ktoś napisze „czy prod leży?” w innym kanale. Typowa diagnoza brzmi, że ludziom brakuje dyscypliny. Ta diagnoza jest błędna i prowadzi do rozwiązań, które pogarszają sprawę.
Alert to roszczenie do Twojej uwagi
Każde powiadomienie twierdzi, że człowiek powinien przerwać to, co robi. Gdy większość z nich okazuje się niewarta tego, ludzie słusznie uczą się, że kanał nie jest wart przerywania. Wyciszenie to racjonalna reakcja na kanał, który kłamał.
Trzy rzeczy, które to naprawdę rozwiązują
- Grupuj identyczne awarie. Trzysta wystąpień jednego buga to jeden problem i powinno to być jedna wiadomość.
- Kieruj według konsekwencji, a nie etykiety ważności. Odrzucona karta wysyła e-mail do klienta; nieudany zapis wzywa dyżurnego.
- Pozwól znanym hałaśliwym raportom iść cichszą gałęzią zamiast wyłączać alerty w całości.
- Eskaluj raz na incydent, a nie raz na zdarzenie.
“Jeśli Twój kanał alertów jest wyciszony, to kanał jest zepsuty. Ludzie zachowują się rozsądnie.”
Wszystkie trzy to decyzje o routingu, więc powinny żyć we flow, który można zobaczyć i zmienić, a nie być rozproszone w instrukcjach if po czterech usługach.