Devo utilizar uma ferramenta de ETL?

Este artigo descreve as vantagens e as desvantagens em obter uma ferramenta de ETL.

por Patricia Sodré

A parte do processo de ETL (Extract, Transformation, and Load) é a mais cara e trabalhosa de todo ciclo de vida de um projeto de Business Intelligence. Há alguns anos atrás, a parte ETL dos projetos era toda feita em hard-code, porém, com o crescimento da indústria de softwares para BI, houve um crescimento também de ferramentas disponíveis para ETL.

Faz sentido hoje termos sistemas baseados em hard-code ou precisamos efetivamente de uma ferramenta de ETL?

Como analista eu diria que é vital ter uma ferramenta de ETL para um bom projeto de BI, porém, vamos analisar os prós e os contras de se ter uma ferramenta de ETL.

Vantagens:

Fluxo visual

Todas as ferramentas de ETL trazem consigo um fluxo visual das cargas e dos processos disponíveis nas mesmas, obviamente de maneira diferente, mas normalmente de forma estruturada e lógica.

Controle de cargas:

A maioria das ferramentas de ETL disponíveis no mercado traz consigo a capacidade não apenas de fornecer o monitoramento do sucesso ou não das cargas, mas uns níveis de detalhe de quais problemas ocorreram, em que tabelas, quais registros duplicados ou rejeitados. Algumas delas fornecem modelos prontos para relatórios de operação de cargas.

Performance:

As ferramentas com oferecem tuning para os processos de cargas, algumas delas característicos para atender a diferentes bancos de dados.

Tratamento de Flat Files:

A possibilidade de mapear arquivos csv"s, txt"s, dbf"s etc...sem grandes esforços também é característico das ferramentas de ETL.

Desvantagens:

Alto Custo:

O preço de uma licença, dependendo da ferramenta pode chegar a 40% do custo total de um projeto de ETL. Tendo em vista que os patrocinadores de um projeto normalmente são usuário de negócio, justificar a compra de um ETL talvez fique inviável.

Profissionais capacitados:

Uma ferramenta de ETL deviria não demandar muito conhecimento de programação SQL, mas isso não é bem verdade. Além de termos que encontrar profissionais com conhecimento em SQL, algumas ferramentas são bastante complexas e precisamos de profissionais capacitados nas mesmas, o que pode encarecer o custo do recurso. Em alguns casos, é mais eficiente termos um ETL baseado em SQL e contratarmos um bom profissional na linguagem.

Reduzir a flexibilidade:

Uma solução fornecida, obviamente fica dependente da capacidade de desenvolvimento de seu fabricante, assim como da dependência na resolução de problemas encontrados e atualizações.