A Engenharia de Dados ou Data Engineering é um grande desafio atual, mas é um tema de importância no mundo tecnológico. Com o mercado crescendo exponencialmente e a demanda por engenheiros de dados também aumentando, qual será o próximo capítulo dessa história? Vamos ver no decorrer deste artigo.
A indústria de dados ainda está em sua infância e está tentando se definir. Não está claro quais caminhos e tamanhos este mercado alcançará, mas podemos dizer com certeza que está crescendo em ritmo acelerado. Embora a engenharia de dados com o seu conjunto de ferramentas já exista há muito tempo (Talend e Informática estão se tornando adultos agora, por exemplo), as arquiteturas de nuvem ‘modernas’ ainda são relativamente novas, o que é uma das fontes de entusiasmo no setor. Algumas das ferramentas mais populares usadas hoje foram criadas há menos de 5 anos.
Um indicador da juventude da indústria é a proliferação de novas terminologias, bem como a dificuldade em definir termos que se tornaram comuns ao longo dos últimos dois anos. Mesmo a própria ‘Data Stack moderna’ carece de definição em todo o setor, e termos como ‘Data Fabric’ e ‘Data Mesh’ têm sido usados para descrever novas arquiteturas.
Sabendo destes fatos, identifico três mudanças nas responsabilidades de um engenheiro de dados:
- Os engenheiros de dados utilizarão ainda mais tecnologias proprietárias em nuvem e os produtos SaaS;
- Os engenheiros de dados gastarão menos tempo codificando e mais tempo monitorando (low code está voltando);
- Os engenheiros de dados mudarão de ‘equipes de recursos’ para ‘equipes de base’ ou times Core.
As funções de dados e a estrutura da equipe estão se tornando vantagens competitivas, pois, por trás de todas essas tendências em Data Stacks e ferramentas está o grande movimento que as empresas estão fazendo para se organizar em torno dos dados. Um KPI que confirma essa afirmação é que as vagas para engenheiros de dados aumentaram 50% nos últimos dois anos. No meu ponto de vista, não é mais sobre ter a equipe correta, o conjunto de habilidades correto ou a Data Stack correta, pelo menos não mais, mas sim sobre quão inteligente as equipes de dados se organizam em torno desses pontos.
Quanto às tendências de mercado, apesar de tantas novas ferramentas e técnicas disponíveis, o Diretor da Keyrus também identifica três para empresas obterem êxito: ML para Advanced Analytics, ETL reverso (Reverse ET) e Observabilidade de dados.
*Por Luis Gustavo Scalise, diretor de arquitetura de dados, Advanced Analytics e Automação da Keyrus.
