Um verdadeiro mantra para as empresas do futuro que buscam avançar em suas jornadas de transformação digital, a máxima “os dados são o novo petróleo”, dita pelo matemático Clive Humby, segue cada vez mais no foco das estratégias de organizações dos mais variados setores.
Afinal, as empresas estão redescobrindo a importância no trato com os dados que processam, coletados de forma interna ou externa, abraçando o princípio denominado “data driven”, ou seja, o direcionamento das estratégias e ações com base nos insights derivados de dados coletados nas operações e interações com o mercado.
Segundo previsão do Gartner, as 10 principais tendências de tecnologia para 2023 envolvem decisões tomadas com base em estatísticas geradas a partir de análise “data driven”.
Mas será que as empresas estão mesmo preparadas para fornecer aos seus times de desenvolvimento, testes, cientistas de dados, analistas, entre outros profissionais que trabalham com dados, soluções que alinhem velocidade de desenvolvimento, produtividade, custos reduzidos e segurança? Se ainda não estão, para sobreviverem e se destacarem no mercado, precisarão estar.
Isso porque o trato com os dados pode representar um grande desafio, sobretudo quando a combinação de dados internos (gerados por soluções ERP e e-commerce, por exemplo) e dados externos (gerados via redes sociais, pesquisas de mercado e dados de concorrência) é necessária para formar um campo de análise mais amplo, envolvendo soluções analíticas mais complexas e de maior capacidade de planejamento e direcionamento de ações.
Grande parte desses desafios podem ser consequência do fenômeno conhecido por “big data”, presente na última década, ou seja, um aumento descomunal no volume e variedade dos dados, além do aumento da demanda por análises e tomada de decisões pelas diferentes áreas de negócio, que hoje precisam reagir de forma muito mais ágil. Por este motivo, as áreas de TI das empresas têm de absorver conhecimento de forma muito rápida.
Há tempos que as empresas investem métodos e tecnologias para processamento e análise de dados, com destaque para os projetos de Data Warehouse, data mart, data mining e diversos mecanismos de geração de dashboards e relatórios analíticos pela TI ou por usuários finais (ou ainda self-service analytics).
Mas, por conta sobretudo dos projetos de “big data”, as arquiteturas analíticas evoluíram para acomodar a diversidade e o volume crescente de dados disponíveis.
Hoje vemos com relativa frequência o emprego de mecanismos como data lake e data lakehouse (que permitem o armazenamento de dados semiestruturados ou não-estruturados), processamento paralelo (para atender grandes volumes), emprego de linguagens capacitadas para processamento analítico, arquiteturas de dados distribuídos (por exemplo por conceitos como “data mesh”), além da integração com recursos de machine learning e inteligência artificial, que permitem incrementar a capacidade analítica, economizando a necessidade de interação humana em todos os aspectos do entendimento dos padrões e tendências associadas à análise dos dados.
A oferta de serviços e tecnologias no segmento de Analytics/Business Intelligence, por exemplo, ajuda as empresas a esclarecer quais os métodos ideais e os mecanismos adequados para atender aos requerimentos do negócio em função do tipo, volume e natureza dos dados que processam. Dessa forma, os serviços de consultoria promovem o emprego adequado dos recursos internos e a otimização dos custos para obtenção de resultados, evitando eventuais desperdícios com processos pouco eficientes ou tecnologias com alto TCO (sigla em inglês para “Custo Total de Propriedades”) para atingir os objetivos esperados.
Além disso, regulações como a LGPD (Lei Geral de Proteção de Dados Pessoais) e demais temas relacionados à proteção, privacidade e ética no uso de dados pessoais têm incorporado requerimentos adicionais aos processos de tratamento de dados nas empresas, pois implicam em maior proteção ao conteúdo e à distribuição controlada e auditável de informações.
De um modo geral, as tecnologias atuais para tratamento dos dados, seja no nível transacional como analítico, incorporam recursos para apoiar a proteção e privacidade como mascaramento de dados, DLP (sigla em inglês para “prevenção à perda de dados”), acesso baseado em regras de conteúdo e que mitigam ou mesmo impedem a violação de normas de segurança e políticas de tratamento de dados pessoais e sensíveis, seguidas pelos colaboradores e empresas associadas no processamento e compartilhamento de informações sobre seus clientes e respectivas operações comerciais.
Diante desse cenário, a própria tecnologia pode ser uma verdadeira aliada neste processo, desenvolvendo e oferecendo soluções extremamente sofisticadas, com um elevado rol de opções de ferramentas e métodos que combinem o uso de dados com o desenvolvimento e a evolução sustentável não só das empresas e do mercado, como de toda a sociedade.
*Por José Carlos de Sá, arquiteto de Soluções de Integração na Softtek Brasil.
