O que é DataOps?

DataOps é um conjunto de práticas e padrões de arquitetura que ajudam os profissionais de análise de dados a entregar valor de informação rapidamente. DataOps permite:

• Rápida experimentação de dados e entrega mais rápida de novos insights aos clientes;
• Baixas taxas de erro;
• Colaboração entre grupos de pessoas, tecnologias e ambientes;
• Medição dos dados de forma clara e objetiva;
• Monitoramento de resultados;

O DataOps estabelece um hub de processos que automatiza os fluxos de trabalho de produção de dados e desenvolvimento de análises para que a equipe de dados seja mais eficiente, inovadora e menos propensa a erros.

A Jornada de Dados

Conhecida como pipeline de dados, é uma série de etapas que transformam dados brutos em insights analíticos que criam valor. Esses pipelines atravessam funções e organizações. As etapas no pipeline são representadas na figura abaixo por círculos. Engenheiros de dados, cientistas, analistas, governança e outras funções de dados trabalham dentro dos círculos ou criam segmentos de pipeline que são combinados com outros pipelines.

O Value Pipeline representa operações de dados em que os dados progridem em sua jornada para gráficos e outras análises que criam valor para a organização. O Pipeline de inovação inclui desenvolvimento analítico, controle de qualidade, implantação e o restante dos processos de gerenciamento de mudanças para o Pipeline de Valor. Os profissionais de dados trabalham em vários pontos desses pipelines. Coletivamente, queremos ter certeza de que o Value Pipeline está sendo executado sem erros, e queremos implantar novas análises sem quebrar nada ou criar efeitos colaterais. O DataOps Engineer faz todo o sistema funcionar melhor. A organização de dados deseja executar o Value Pipeline com a mesma robustez e padrão (Six Sigma), deve ser capaz de implantar melhorias de processo tão rapidamente quanto uma start-up do Vale do Silício.

O engenheiro de dados cria transformações de dados. Seu produto são os dados. Os produtos do cientista de dados são modelos e segmentações. Os produtos do analista de dados são gráficos e visualizações. De certa forma, os engenheiros DataOps traçam uma linha em torno de todas essas funções e promovem uma maior colaboração entre a equipe de dados.

Muitas pessoas que trabalham com dados têm uma definição restrita de estar “pronto” sem considerar as próximas etapas e suas respectivas particularidades.
A definição restrita de “pronto” usada por muitos profissionais de dados é que trabalhou em um ambiente específico, sem conhecer ou se importar com os desafios das pessoas que precisam implantar, monitorar e manter esse componente. Esse profissional de dados intencionalmente cego é focado na tarefa, não no valor. A colaboração será difícil se você observar as seguintes práticas entre a equipe de dados:

• Jogue para a produção – deixe que descubram;
• “Estar pronto” significa “funcionou para mim”;
• “Só me concentro na minha pequena parte”;
• “Problema de outra pessoa”;
• Confiança em verificações manuais;
• Falta de vontade de puxar a dor para si mesmo;

Engenheiro DataOps tem uma visão mais ampla. “Pronto” significa que o componente funciona em produção e os clientes/usuários estão satisfeitos com isso. Em vez de se concentrar em uma tarefa definida com o mínimo de testes e feedback, o Engenheiro DataOps se concentra em agregar valor. Por meio de testes automatizados, o Engenheiro DataOps institucionaliza a colaboração por meio de testes orquestrados, monitoramento, implantação e coordenação de tarefas.