• Fernando Fecarotta

10 vantagens de criar um Data Warehouse em projetos de BI

Atualizado: Jun 2



1- Dados históricos


Os sistemas em geral não se preocupam com os dados históricos, é muito comum uma alteração cadastral alterar o valor de algum dado sem se preocupar com o valor antigo, porém para uma visão analítica do seu negócio essas informações podem ser de suma importância. Por exemplo, se precisa analisar o perfil dos seus clientes, informações de onde moram e estado civil podem ser importantes, porém quando um cliente se casa passa de solteiro para casado e você perde o histórico de consumo enquanto solteiro, para o sistema ele estará como casado.

No modelo de DW, é possível manter todo consumo desse cliente vinculado ao seu endereço e estado civil na época do consumo, mesmo que venha a casar, se mudar ou se separar, todo histórico fica relacionado corretamente, mantendo a ligação temporal correta.



2- Não concorre com o sistema de gestão


Consultas diretas no sistema tendem a ser mais custosas, devido a concorrência de recursos, além disso pode afetar o desempenho das operações do sistema, impactando nos processos de negócio.

Em um modelo de DW não há concorrência de recursos com a operação, desde que a base de dados esteja em outro ambiente. Toda carga de dados pode ser feita durante a noite ou em períodos de baixo fluxo na operação.



3- Alta performance


Consultas diretas no sistema normalmente exigem querys mais complexas, devido a modelagem dos dados serem voltados a controle de transações (modelo relacional) e não voltado a análise (modelo dimensional)

Em um modelo DW com modelagem dimensional (modelos estrela e snowflakes) as consultas são simples e é possível criar campos calculados.



4- Eliminação ou redução de cálculos na camada de visualização


Consultando diretamente a base do sistema, o cálculo terá que ser criado no momento da consulta e isso pode gerar lentidão nos painéis e análise. Quanto maior a base do cliente maior o impacto

No modelo de DW, como mencionado no item 3, é possível e até mesmo recomendado persistir na base cálculos necessários na camada de visualização, inclusive é muito comum a criação de fatos resumos. Porém existem situações em que o cálculo depende de algum filtro feito no momento da análise, nesses casos o cálculo deve ser criado na camada de visualização.



5- Todo tratamento do dado independe da camada de visualização


Quem trabalha com BI sabe que as ferramentas de visualização evoluem cada vez mais, isso é para facilitar a criação de analises, hoje muito comum o self service BI, que faz com que o profissional que precisa criar uma análise não precise ter muito domínio técnico em TI, porém, se o seu projeto de BI foi todo criado dentro de uma ferramenta (inclusive a camada de dados) numa possível migração de ferramenta você perderá todo tratamento de dados criados.

Utilizando um DW a camada de dados fica separada da camada de visualização, havendo a necessidade de migrar a ferramenta de interface, toda camada de dados se mantém e a migração se torna muito mais rápida e viável.



6- Visualização integrada entre sistemas diferentes


É muito comum empresas operarem com mais de um sistema, porém isso gera alguns problemas, como por exemplo informações duplicadas entre sistemas, informações divergentes (devido não haver um sincronismo de cadastros), operações manuais, etc...

Utilizando uma ferramenta de ETL para criar um DW, o cruzamento de dados entre sistemas se torna mais fácil, mesmo que utilizem bancos diferentes, é possível cruzar também com planilhas. Dessa forma, o DW acaba sendo uma solução de base unificada, o que contribui muito para as análises.



7- Limpeza nos dados

gif

Como citado no item 6, no caso de vários sistemas pode haver divergências entre os dados e isso deve ser tratado, mesmo utilizando apenas um sistema pode ser necessário fazer uma limpeza. Quando não se trabalha com DW essa limpeza deve ocorrer no momento das consultas, o que torna o processo bastante moroso e talvez até inviável.

Com um DW, essa limpeza é feita no momento da construção do modelo de dados, dessa forma, as informações disponíveis já estarão tratadas e acessíveis.



8- Enriquecimento de dados


Com um modelo de DW temos muita flexibilidade e facilidade para enriquecer e agregar mais valor a nossos dados. Por exemplo, a partir de um CEP podemos encontrar a geolocalização e persistir na tabela de endereços, podemos também a partir dos cadastros de clientes trazer informações públicas que estão nas redes sociais, podemos trazer dados de tabelas do governo que são de acesso público e cruzar com nossos cadastros. Isso traz mais valor aos dados e mais informações para análise.



9- Base preparada para vários tipos de análise


Por ser uma base com modelagem dimensional, limpa, tratada e enriquecida, fica muito fácil criar análises pontuais, trabalhar com cubos, criar modelos visuais, etc... a complexidade de buscar e preparar os dados já estará feita.



10- Atendimento a LGPD


Com projeto de DW é possível manter o rastreio e auditoria das cargas e transformações feitas com dados sensíveis, inclusive podemos criar DataMarts com dados anonimizados, eliminando o risco de vazamento de dados ou acesso a informações sensíveis de forma desnecessária.



Fernando Fecarotta

Engenheiro de Dados

Linkedin Mentors

83 visualizações0 comentário

Posts recentes

Ver tudo