Mentionsy

To mówię, że data lineage.

Kto coś niecoś wie to mówię, że machine learningiem, a jak już ktoś może coś więcej rozumie to mówię, że data lineage.

I teraz, no dobrze, to teraz moglibyśmy sobie zadać pytanie, to czym jest to Data Lineage?

No więc to co robi Data Lineage to jest próba zrozumienia, na dane możemy patrzeć w dwoje jaki sposób?

Więc data lineage daje nam zrozumienie tych wszystkich transformacji danych i logicznego designu tych danych też, które zaszły po drodze.

I Data Lineage to jest taka wizualizacja tego wszystkiego?

Więc w pewnym momencie, no właśnie, w pewnym momencie masz black box na black boxie, jakby nie rozumiesz tych danych i data lineage pozwala lepiej zrozumieć i prawdopodobnie, hopefully, zoptymalizować ten flow, bo czasami on po prostu nie jest efektywny.

Manualna dokumentacja i wasz produkt pozwala to udokumentować versus wasz produkt pozwala to przeanalizować i dostarczyć po prostu tą odpowiedź jak ten lineage wygląda.

No to możesz prześledzić ten lineage.

Ale jeśli masz taki case, że coś tam masz na Databricksie, coś tam masz na Azure, coś tam na AWSie, to tym sposobem pozycjonowania, jak IBM o tym myśli, jest to, żeby właśnie lineage był agnostyczny, nie zamknięty w jednym ekosystemie.

Jakby meczują się z tym czego używasz no to jakby de facto po prostu podpinać sobie kafkę podpinać sobie Postgres podpinać sobie jakiegoś tam ITL którego używasz i automagicznie IBM robi właśnie ten reverse engineering czyli ten data lineage twoich danych.