Observability w garniturze, ale bez majtek - po co jest collector
"Czyli ten taki element, który wszyscy traktują: eee tam, pitu pitu, a okazuje się, że jest jednym z najbardziej krytycznych." 🎯 Szymon przyniósł 16 stron notatek o OpenTelemetry Collector. Każda strona to osobny sposób na zgubienie telemetrii. Budujemy topologię kolektorów od zera. Collector per namespace, DaemonSet na wypadek aplikacji, która nie wstała, i agenci na VM-kach zamiast otwierania sieci dla Prometheusa. Nad tym OTel Gateway, który ma być "głupi jak budowa cepa", a nie kolejnym ESB. Do tego Kafka przed Lokim i gRPC, które za load balancerem po cichu sabotuje skalowanie. Potem ciche awarie. Błąd w konfiguracji? Kolektory "zrobią rollback do poprzedniej wersji, Ty się o tym nie dowiesz". Unauthorized nie jest retry'owany, więc dane lecą do kosza. ⚠️ Recepta Szymona: "metryki, metryki, metryki". Na deser tail sampling, który według Szymona "niewyobrażalnie komplikuje architekturę całego rozwiązania". Chyba że masz terabajty trace'ów w trzy dni. Czy Grafana Alloy to obowiązek, czy kolejna warstwa, na której się wywalisz? A teraz nie ma co się obijać! 👉 Wpadajcie na naszego Discorda: https://discord.gg/78zPcEaP22 ! 🔥Tam możecie się z nami pokłócić o przyspieszanie SQL-a, podyskutować o naiwnych nadziejach na AI albo po prostu podzielić się swoimi IT-owymi przemyśleniami. Słuchasz Patoarchitektów dzięki PROTOPII – firmie, w której Łukasz i Szymon działają na co dzień, wspierając zespoły IT na każdym etapie: od projektowania, przez wdrożenia i migracje, aż po optymalizację i zabezpieczenia. Oferujemy też mentoring i szkolenia dostosowane do potrzeb każdej firmy, niezależnie od wielkości. Sprawdź nas: 👉 protopia.tech - Nasze sociale i linki - Materiały do odcinka - Pato szkolenia 00:00:00 Intro00:01:17 Podstawy: observability, OpenTelemetry i sygnały00:04:32 Topologia kolektorów: Kubernetes, maszyny wirtualne, push i pull00:10:00 Niezawodność dostarczania: kolejki, bufory i Kafka00:13:30 Load balancing kolektorów i gRPC00:14:44 Monitorowanie kolektorów i błędy konfiguracji00:17:00 Architektura wewnętrzna kolektora i niezależność od dostawcy00:18:34 Logowanie z aplikacji: OTLP, stdout i aplikacje zewnętrzne00:22:21 Sampling, retencja i koszty trace'ów00:27:07 Podsumowanie: kiedy wdrażać kolektor00:27:56 Zakończenie
Człowskodajnie wiesz, że fajnie byłoby gdyby aplikacje wysyłały sobie na przykład logi i wszystkie inne rzeczy po OpenTabetyProtocol, ale jak aplikacja nie może wstać, to tych logów nie wyślę. Więc co trzeba zrobić? Dorzucamy sobie Demon seta, który pochodzi na każdym node'zie i skrejpuje te logi, które się tam pojawiły w aplikacji. No i teraz znowu, właśnie teraz wchodzi ten sens tego gateway'a. W tym momencie collector i demon set piszą, znaczy collector i demon set piszą nam do gateway'a, on jest naszym jedynym punktem wyjścia. No to pomyślisz, no dobra, to w sumie właściwie byłoby wszystko. No nie, bo teraz co nam dochodzi dalej? Pewnie mamy tam jakąś, jakąś wirtualkę. No to co teraz robimy? No to możemy powiedzieć teraz, no to spoko, otwieram sobie sieć i teraz mój Prometeusz może skrejpować wszystkie wirtualki w tej sieci.
Pokazano wszystkie 1 dopasowanie. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.
Rozmowa zaczyna się od omówienia roli collectora w systemie observability.
Szymon wyjaśnia architekturę systemu, w tym rolę collectora i gateway'a.
Rozmowa kontynuuje omówieniem konkretnych konfiguracji systemu, w tym użycia Kafka i agentów.
Diskussionuje się o monitorowaniu systemu i bezpieczeństwie danych, w tym problemach z fallbackami.
Szymon opisuje architekturę wewnętrznego kolektora, w tym pipeline i receiver'y.
Rozmowa skupia się na logowaniu z poziomu aplikacji i standardach OpenTelemetry.
Diskutuje się o technikach samplingu i generowania metryk na podstawie trace'ów.
Rozmowa zakończa się podsumowaniem i planem na przyszłość, w tym kolejne odcinki na temat observability.
Rozdziały i streszczenia generowane automatycznie. Pełna transkrypcja nie jest publikowana — wyszukaj frazę, aby zobaczyć dopasowane fragmenty.
Kliknij, aby znaleźć fragmenty, w których pada.
Intro
Podstawy: observability, OpenTelemetry i sygnały
Topologia kolektorów: Kubernetes, maszyny wirtualne, push i pull
Niezawodność dostarczania: kolejki, bufory i Kafka
Load balancing kolektorów i gRPC
Monitorowanie kolektorów i błędy konfiguracji
Architektura wewnętrzna kolektora i niezależność od dostawcy
Logowanie z aplikacji: OTLP, stdout i aplikacje zewnętrzne
Sampling, retencja i koszty trace'ów
Podsumowanie: kiedy wdrażać kolektor
Zakończenie