Não é segredo que a Inteligência Artificial vem dominando o mundo em que vivemos e muitos se perguntam: IA é ou não é a nova eletricidade? O novo BI? A nova interface do usuário? Dados são o novo petróleo?

Seja o que for, sabemos que a IA começou a agregar valor real modernizando a análise de dados. E sabemos que o combustível para a próxima geração de inteligência na Terra são os dados.

Nossa capacidade de explorar vastas fontes de “Big Data” inexplorados e crescentemente implacáveis levou à busca pelos profissionais do futuro, os Cientistas de Dados, responsáveis pela democratização do aprendizado de máquina para treinar mecanismos analíticos preditivos. A chegada prevista de longo prazo da computação e armazenamento de dados em larga escala na nuvem é, finalmente, real e torna a IA economicamente viável. E inovações em sistemas intermediários de mensagens e “plataformas de streaming” aceleraram a inteligência comercial tradicional, levando a IA à próxima geração de aplicativos inteligentes.

Embora o valor comercial da IA seja fácil de entender e evangelizar, as implicações operacionais dessas tendências são muito mais complexas do que se costuma entender.

O que está motivando essa complexidade? Os aplicativos estão se tornando ágeis, inteligentes e mais focados, impulsionados pela tendência de microsserviços (tema abordado na Formação Engenheiro de Dados). Ao mesmo tempo, diferentemente do petróleo, os dados nesses aplicativos se tornam mais valiosos com a reutilização e mudam a semântica com frequência. As opções de infraestrutura e plataforma de dados estão sendo feitas e refeitas de forma autônoma, com pouca consideração ao impacto mais amplo na empresa, levando a mudanças inesperadas na estrutura.

Ter os dados certos no momento certo e com o nível certo de confiança no ponto de uso não tem preço, mas todas essas alterações inesperadas, sem aviso prévio e intermináveis nos dados, denominadas coletivamente como data drift (ou em uma tradução livre, dados à deriva), estão fora de nosso controle e levam a riscos operacionais.

Acredito que em 2020 veremos um interesse mais difundido no DataOps. DataOps é o conjunto de práticas e tecnologias que traz a automação de ponta a ponta e as sensibilidades de monitoramento do DevOps para gerenciamento e integração de dados.

Mas o que o torna DataOps são pipelines de dados inteligentes resistentes a desvios, dos quais emergem topologias de dados de ponta a ponta que vivem e respiram. Em vez de ignorar ou combater a deriva de dados, o DataOps a abraça e aproveita para acelerar a análise de dados, com confiança.

Alguns indicadores que notamos aqui na StreamSets incluem uma pequena, mas crescente seção de clientes que adotam abordagens de DataOps. O recente DataOps Summit destacou muitos de seus casos de uso e o impacto nos negócios.

As pesquisas pelo termo “DataOps” triplicaram, os fornecedores estão entrando no mercado com as ofertas do DataOps e estamos vendo vários títulos comerciais dos DataOps aparecendo nos perfis do LinkedIn. Todos apontam para um entendimento emergente de “DataOps” e o reconhecimento de sua nomenclatura, levando a prática a se tornar algo padrão nas organizações orientadas a dados. O novo livro DataOps: The Authoritative Edition descreve muito disso em detalhes.

O DataOps é a base sobre a qual todo o software será construído no futuro, provocando uma ordem e disciplina inerentes ao caos causado por decisões ágeis e autônomas da tecnologia. Hoje, as empresas precisam pensar no futuro para implementar as tecnologias que permitirão as práticas de DataOps para sobreviver e prosperar na era da Inteligência Artificial e do domínio dos dados.

O texto acima é de Girish Pancha, Diretor executivo e co-fundador da StreamSets (solução de Streams que recomendamos nos cursos da DSA) e que gentilmente traduzimos para você. O original em inglês pode ser encontrado aqui.

Equipe DSA