Arquitetura de dados

A arquitetura de dados surgiu da necessidade cada dia maior de conhecer e integrar as diversas fontes de dados de uma empresa, consolidar estas fontes, cada vez mais complexas tornou-se um obstáculo para as empresas. Por isso, o nosso desafio é transformar esse “problema” em algo útil e que agregue valor para as empresas.

A arquitetura de dados entende os requisitos funcionais e técnicos do negócio, assim como das ferramentas que serão usadas para interpretar esses dados, e cria um modelo de negócios funcional para a organização, e que também consiga interagir com os sistemas origens.
Para conseguir que isso aconteça, é necessário um conhecimento profundo do negócio, das bases de dados e dos sistemas que as alimentam, das integrações entre as diversas bases, transformações necessárias, fluxos de dados, bancos de dados e data warehouses.
Toda transformação começa com gerenciamento de dados.

Governança de Dados

Segundo a definição do Gartner: a governança de dados engloba uma coleção de processos, funções, políticas, padrões e métricas que garantem o uso eficiente e eficaz das informações, permitindo que uma organização alcance suas metas.
Quando a Arquitetura de Dados é BEM construída, ela engloba a Governança de dados. Esse termo bonito, e relativamente novo, é aplicado aqui para entendermos QUAIS dados temos disponíveis, e QUEM terá acesso a eles nessa construção que estamos iniciando.
No nosso contexto, atuamos como “organizadores de dados”. Ou seja, estabelecemos definições padronizadas dos diversos Dicionários de Dados que compõe o fluxo, e identificamos os detalhes dos sistemas de Origem. Com isso, unificamos as informações em um Catálogo de Dados, e às disponibilizando de forma fácil e com uma leitura objetiva, a todos os interessados.

Engenharia de dados.

A engenharia de dados entra num segundo momento, com o desenvolvimento de rotinas que consigam atender as necessidades levantadas, da melhor forma possível. Pois muitas vezes, seus dados precisam de um pouco de ajustes e condicionamentos antes da análise.
Engenharia de dados é a prática de ajustar seus dados através de processos como ETL para estruturá-los de forma que suas plataformas analíticas entendam, e eles apresentem o melhor resultado possível.

Engenharia de dados com o Oracle Data Integrator

1 – Necessidades de Negócio

O projeto sempre começa mapeando qual a dor do Cliente, e onde queremos chegar. Isso parece simples, mas não é. A visão do “Cliente Final” é limitada ao uso que ele tem diariamente dos sistemas, mas não engloba (e nem deveria) a parte técnica de construção dos sistemas. Além disso, temos hoje diversos sistemas envolvidos, não uma única fonte de dados.

Mas a empresa não quer desculpas, quer soluções. E essa mesma pessoa, o nosso Cliente Final, é responsável por entregar resultados. E aí? Aí começa o projeto. Mapeando as necessidades para que ele consiga entregar o resultado esperado.
Aqui também fazemos a Arquitetura de Dados, que irá nos guiar pelo restante dos processos.

2 – Definição da Topologia

Essa é provavelmente a fase mais crítica do processo.

Com as necessidades levantadas, começamos então mapear onde elas estão, quais as fontes de dados e como acessá-las. Essa etapa precisa de muita ajuda da TI do Cliente, ou dos responsáveis por ela, pois cada sistema tem sua construção particular e formas de acesso variadas.

O que agrada todos os profissionais de TI que nos ajudam é: ele vai fazer isso uma vez só. Porque depois de construído, o processo que consome esses dados será automático (vamos falar adiante).

3 – Engenharia Reversa

Nessa etapa, trazemos para dentro da ferramenta tudo que foi levantado no Item 2, de forma que seja possível trabalhar com esses dados.

Nessa etapa, organizamos as fontes, catalogamos as origens os dados, e deixamos o ambiente pronto para que as construções sejam feitas.

4 – Regras de Qualidade de Dados

Muitas vezes o dado não chega pronto, e precisa ser tratado para que satisfaça as necessidades levantadas. Isso inclui desde tratamento simples, que os sistemas origens não necessitam ou mesmo não comportam, como também regras mais complexas e transformações específicas para cada conjunto de dados.

Chamamos isso de “Data Quality”, onde garantimos a integridade e qualidade desses dados, conseguimos verificar se os dados armazenados nas origens estão em conformidade com um conjunto de regras mais técnicas (baseado em padrões, valores, tipos de dados, etc), e também regras de negócio (se uma venda foi gerada sem a Ordem de Compra, por exemplo).

5 – Mapeamentos e Fluxos

Aqui é onde tudo, de fato, acontece.

O que isso significa? Nessa etapa, todos os conceitos são colocados em prática, os objetos mapeados dos Sistemas Origens são lidos, transformados, agrupados, divididos, qualificados, e gravados na estrutura do Data Warehouse.

Além disso, é aqui que orquestramos os processos, onde criamos fluxos de execução, utilizando Mapeamentos, Procedures, Funções, processos de Data Quality ou mesmo Pacotes inteiros. Definimos também o que fazer em caso de falha de um dos Processos, ou de todos.

Além dos componentes de movimentação e tratamento de dados, podemos incluir nessa etapa ações “físicas”, como por exemplo, transportar um arquivo por FTP, testar se o Agent está no ar, definir espera de arquivos e dados, dentre diversas outras possibilidades.

6 – Versionamento

Dentro da ferramenta, conseguimos criar versionamento de cada um dos objetos utilizados, para que em caso de alteração indevida, possamos voltar a versão anterior o mais rápido possível.

Isso nos permite também fazer comparativo entre versões, para entender o que pode ter ocasionado algum erro que esteja acontecendo, ou simplesmente comparar as formas de trabalho de cada versão gerada.

7 – Agendamento

O agendamento e o monitoramento, são dois dos grandes diferenciais do Oracle Data Integrator (ODI). Ambos ocorrem dentro da própria ferramenta de Desenvolvimento, diferente de outros concorrentes.
O agendamento se conecta ao ODI Agent, serviço responsável por executar as cargas, e a integração entre eles é transparente para a equipe de Desenvolvimento. Ele pode ser feito dos mais diferentes níveis de desenvolvimento, desde o menor componente, até o agendamento do Fluxo completo.

Além disso, ele possui Planos de Execução capazes de gerenciar as falhas ou mesmo disparar execuções em paralelo, dentre diversos outros.

8 – Monitoramento

O monitoramento é tão fácil, que vários usuários não acreditam.
As execuções são apresentadas também, dentro da própria ferramenta, onde mostram de forma detalhada todo o fluxo de execução de cada uma das partes.

Além disso, é possível acompanhar hierarquicamente as execuções, para entender o processo completo, assim como o histórico “agrupado” dos fluxos executados por dia.

9 – Recomeça

Os processos não param. Os sistemas mudam constantemente para atender novas demandas, o negócio tem novas necessidades… e todo o processo recomeça.
A solução nunca é fixa, ela já é criada, pensada e desenvolvida de forma que esteja o mais aberta possível às mudanças que possam surgir no futuro.