Gostaríamos de expressar nossa recomendação e reconhecimento pelo excelente trabalho realizado pela Datastream na implementação de práticas avançadas de Observability na Cia Hering. A expertise da equipe da Datastream foi fundamental para elevar nosso monitoramento de dados a um novo nível de eficiência e confiabilidade.
Criamos uma infraestrutura robusta de Observability para extração de dados baseados em eventos, com destaque para:
- Monitoramento em Kafka: Implementação de métricas e alertas precisos para acompanhar a performance dos clusters Kafka, garantindo alta disponibilidade e detecção proativa de falhas.
- Supervisão dos Conectores Debezium: Desenvolvimento de monitoramento específico para os conectores do Debezium, permitindo a análise detalhada da integridade dos processos de captura de mudanças (CDC – Change Data Capture) e a identificação de eventuais anomalias na ingestão de dados.
- Medição de Latência do Dado: Implementação de métricas para mensurar o tempo entre a geração dos dados nas fontes primárias e sua disponibilidade para consumo nos sistemas downstream, garantindo a otimização da cadeia de dados.
- Monitoramento Avançado no ELK Stack: Estruturação de dashboards personalizados e alertas inteligentes no Elastic Stack (Elasticsearch e Kibana), permitindo a visualização em tempo real da saúde dos serviços, identificação de padrões e resposta ágil a incidentes.
A abordagem da Datastream foi pautada pelas melhores práticas de Observability, incluindo coleta estruturada de logs, rastreamento distribuído e métricas detalhadas, proporcionando total visibilidade sobre nosso pipeline de dados e garantindo a confiabilidade da nossa plataforma.
Recomendamos fortemente a Datastream para qualquer organização que busque aprimorar a Observability, melhorar a resiliência dos sistemas e garantir operações mais eficientes e transparentes.
Luigi Oliveira Tricoli é Gerente Geral de TI da Cia Hering
