O Big Data está transformando o mundo dos negócios e as decisões e aplicações baseadas em dados criam vantagem competitiva para as empresas, utilizando fontes de dados para descobrir, apresentar e operacionalizar importantes insights empresariais. Não é mais uma questão de usar ou não Big Data na tomada de decisões, mas sim como Big Data deve ser utilizado de forma eficiente. E para aqueles que ainda não utilizam Big Data na tomada de decisões, a pergunta inevitável é: Como Iniciar um Projeto de Big Data Analytics?

Algo que todos os fornecedores e organizações devem compreender é que uma grande solução de análise de dados deve ser uma decisão de negócios, e não uma decisão do departamento de TI. Embora exista um amplo consenso sobre o valor do Big Data, não existe uma abordagem padronizada sobre como iniciar e concluir um projeto. As muitas ferramentas, fornecedores e tendências no mercado, multiplicadas por diferentes casos de uso e projetos potenciais, podem levar à paralisia de decisão. Além disso, algumas empresas se concentram equivocadamente em tecnologia em vez de objetivos de negócios.

Todos esses fatores podem colocar os projetos Big Data em risco. Em uma pesquisa recente de profissionais de TI, descobriu-se que quase 60% dos projetos Big Data não são concluídos. A mesma métrica para projetos de TI em geral é de apenas 25%. Além da falta de visão de negócios na implementação de projetos de Big Data, a falta de profissionais qualificados é outro problema (veja a pesquisa do Gartner ao final do post).

Embora a forma como você gerencia o seu projeto de Big Data irá variar dependendo do caso de uso específico e perfil da empresa, existem 4 etapas principais para implementar com sucesso um projeto de Big Data:

1. Definição do Business Case – com objetivos claramente definidos que geram valor comercial para o negócio da empresa.
2. Planejamento do Projeto – um plano e um escopo bem geridos levarão ao sucesso.
3. Definição dos Requisitos Técnicos – os requisitos detalhados assegurarão que você construa o que precisa para alcançar seus objetivos.
4. Criação de um “Total Business Value Assessment” – uma visão holística que deve desconsiderar decisões políticas e emocionais.

Vamos discutir em detalhes cada uma destas etapas e fornecer a você um template de Como Iniciar um Projeto de Big Data Analytics. Mas é importante reforçar, mais uma vez: um projeto de Big Data Analytics deve ser uma decisão de negócio, não uma decisão do departamento de TI, cujo papel deve ser o suporte para que a solução seja implementada de maneira eficiente, profissional e com baixo custo.

 

1. Definição do Business Case

À medida que as empresas exploram Big Data, os requisitos de negócios variam amplamente do crescimento da receita para a diferenciação do mercado. As empresas percebem os benefícios mais significativos dos projetos de Big Data quando começam com um inventário de desafios e metas de negócio e rapidamente os reduzem para aqueles que esperam fornecer o maior retorno.

Para explorar as expectativas da organização em projetos de Big Data, recomendamos responder estas perguntas primeiro:

• Qual é o objetivo do projeto?
• Em que direção o negócio está indo?
• Quais são os obstáculos para chegar lá?
• Quem são os principais interessados e quais são seus papéis?
• Qual é o caso de uso de Big Data mais importante determinado pelas principais partes interessadas?

Essas questões compõem uma boa base para o seu projeto. Quanto mais específicas e conectadas aos seus objetivos de negócio forem suas respostas, maior a chance do projeto ter sucesso. Aqui estão algumas questões mais específicas que elaboram cada ponto em mais detalhes.

• Determine os objetivos de alto nível da empresa e como Big Data pode suportar esses objetivos.
• Identifique a área problemática, como marketing, atendimento ao cliente ou desenvolvimento de negócios, e as motivações por trás do projeto.
• Descreva o problema e os obstáculos em termos não-técnicos.
• Faça um inventário de quaisquer soluções e ferramentas usadas atualmente para solucionar o problema comercial.
• Considere as vantagens e desvantagens das soluções atuais.
• Navegue no processo para iniciar novos projetos e implementar soluções.
• Identifique as partes interessadas que se beneficiarão do projeto de Big Data.
• Entreviste as partes interessadas individualmente para determinar os objetivos e preocupações do projeto.
• Documente os objetivos comerciais decididos pelos principais tomadores de decisão.
• Atribua prioridades aos objetivos de negócio.
• Crie o Business Case, detalhando todos os itens anteriores.

Sim, essa etapa vai dar bastante trabalho. Você não esperava que fosse fácil, não é? Aliás, fuja de promessas de soluções fáceis ou mágicas. Para o sucesso de um projeto de Big Data, o valor para o negócio deve estar claro e o comprometimento da alta gestão e das partes interessadas é fundamental.

 

2. Planejamento do Projeto

É aqui que as coisas se tornam específicas. Como resultado de suas pesquisas e reuniões, você provavelmente terá um objetivo nebuloso, como “reduzir o churn do cliente”. Esta etapa pretende construir um objetivo concreto e específico acordado pelas partes interessadas do projeto. É nesta etapa que você deve:

• Especificar metas esperadas em termos comerciais mensuráveis.
• Identificar todas as questões comerciais com a maior precisão possível.
• Determinar quaisquer outros requisitos de negócio quantificáveis.
• Definir como seria uma implementação bem sucedida de Big Data.

O objetivo agora pode ser claro, mas como você saberá se conseguiu alcançá-lo? É importante definir o sucesso comercial do seu projeto de Big Data antes de prosseguir, definindo critérios de sucesso e objetivos específicos. E ao determinar os critérios de sucesso, é importante escolher critérios mensuráveis, como uma métrica de desempenho chave específica. As tarefas seguintes são considerações que você pode usar para garantir que você tenha capturado corretamente os critérios de sucesso:

• Com a maior precisão possível, documente os critérios de sucesso para este projeto.
• Certifique-se de que cada objetivo comercial identificado tenha um critério mensurável que determinará se esse objetivo foi cumprido com sucesso.
• Compartilhe e obtenha aprovação de seus critérios de sucesso entre os principais interessados.
• Determine o escopo adequado, especificamente o que está incluído e o que não está incluído.
• Desenvolva um orçamento aproximado.
• Defina uma linha de tempo e marcos de sucesso em 3 meses, 6 meses e um ano.

É essencial evitar armadilhas comuns, como escopo mal definido, metas pouco claras, gerenciamento de projetos passivo ou inexistente, má comunicação, começar muito pequeno, etc. De longe, a maior razão pela qual esses projetos falham é um escopo impreciso. Sem ter um critério de sucesso firme, os projetos continuam a expandir sem cronogramas realinhados, não conseguindo demonstrar retorno positivo no investimento, ou no pior caso – não conseguindo atingir os objetivos de fornecer valor comercial.

Outro ponto fundamental é a cooperação entre os departamentos. Por natureza, Big Data não vai ajudar apenas um dos interessados. Muitas vezes, um projeto como esse é algo que melhora o desempenho para muitas partes diferentes como a sua equipe de TI, seus desenvolvedores de aplicativos, seus Cientistas de Dados e analistas e pessoas em toda a organização, desde a linha de gerentes de negócios até executivos.

 

3. Definição dos Requisitos Técnicos

A fase de requisitos técnicos envolve uma análise mais detalhada dos dados disponíveis para o seu projeto de Big Data. Esta etapa permitirá que você determine a qualidade de seus dados e descreva os resultados dessas etapas na documentação do projeto. É importante entender quais ferramentas são usadas e a arquitetura em que são usadas, como se encontra sua infraestrutura atual e o inventário de todas as ferramentas usadas atualmente. Isso é importante pois o projeto de Big Data não será algo isolado, mas sim integrado à infraestrutura atual da empresa.

Considere quais fontes de dados você vai aproveitar:

• Fontes de dados existentes. Isso inclui uma grande variedade de dados, como dados transacionais, dados de pesquisa, logs de servidores, dados de redes sociais, arquivos pdf, etc. Considere se suas fontes de dados existentes são suficientes para atender às suas necessidades.
• Compra de fontes de dados. Sua organização usa dados suplementares, como dados demográficos? Isso poderia ser relevante para o processo de análise e complementar os dados existentes. A aquisição de fontes de dados confiáveis pode trazer benefícios para o resultado final do projeto.
• Fontes de dados adicionais. Se as fontes acima não atendem às suas necessidades, talvez seja necessário realizar pesquisas ou iniciar o rastreamento adicional para complementar os dados existentes.

Ao examinar suas fontes de dados, pergunte:

• Quais atributos do (s) banco (s) de dados parecem mais promissores?
• Quais atributos parecem irrelevantes e podem ser excluídos?
• Há dados suficientes para tirar conclusões generalizáveis ou fazer previsões precisas?
• Existem muitos atributos para o seu método analítico escolhido?
• Você está mesclando várias fontes de dados? Em caso afirmativo, existem áreas que podem representar um problema na fusão?
• Já considerou como os valores em falta (missing data) são tratados em cada uma das suas fontes de dados?
• Você vai usar Streaming de Dados? Como esses dados serão coletados e armazenados?

Há muitas maneiras de descrever os dados, mas a maioria das descrições se concentra na quantidade e qualidade dos dados. Abaixo são apresentadas algumas características-chave para descrever os dados:

• Volume de dados. Para a maioria das técnicas analíticas, existem trade-offs associados ao tamanho dos dados. Grandes conjuntos de dados podem produzir modelos mais precisos, mas também podem aumentar o tempo de processamento.
• Velocidade dos dados. Há também trade-offs associados com os dados em repouso ou em movimento (estático ou em tempo real). A velocidade se traduz em quão rápido os dados são criados dentro de um determinado período de tempo.
• Variedade de dados. Os dados podem ter uma variedade de formatos, como numérico, categórico (string) ou Booleano (verdadeiro / falso). Prestar atenção ao tipo de dado pode evitar problemas durante análises posteriores. Frequentemente, os valores no banco de dados são representações de características como gênero ou tipo de produto. Por exemplo, um conjunto de dados pode usar M e F para representar masculino e feminino, enquanto outro pode usar os valores numéricos 1 e 2. Observe qualquer esquema conflitante nos dados.
• Tempo para a ação. Os dados podem ser usados para tomar medidas imediatas, além de serem armazenados para futuras análises sem tempo crítico. É importante identificar quais dados provavelmente serão usados para ações em tempo real (<150ms), ações próximas em tempo real (segundos) ou ações críticas sem tempo (minutos a horas).

Considere quais interfaces e ferramentas são necessárias para que sua empresa trabalhe com suas fontes de dados. Além da implementação da infraestrutura, seu projeto de Big Data deve oferecer a capacidade de criar aplicativos e análises personalizadas usando API e ferramentas nativas como parte do Hadoop, bancos de dados e processamento de fluxo – além de interfaces abstraídas e unificadas para melhorar a experiência do usuário. Os usuários devem ter a capacidade de produzir tabelas, gráficos e outros elementos de visualização usando ferramentas de BI, como: Business Objects, Microstrategy, Cognos, Tableau, Datameer ou outras ferramentas similares. Tais análises visuais podem ajudar a abordar os objetivos do projeto de Big Data definidos durante a fase de compreensão do negócio. Outras vezes, é mais apropriado utilizar ferramentas que suportem análises estatísticas e construção de modelos de Machine Learning, tais como R, Python, Java, Scala, SAS, Matlab, etc. E claro, ainda oferecer suporte a aplicações de Inteligência Artificial.

Isso tudo nos leva a mais um grupo de questões que devem ser respondidas:

• Quem precisa trabalhar com os dados?
• Quais são suas habilidades técnicas?
• Treinamento será necessário?
• Quais ferramentas você atualmente possui em sua empresa que você gostaria de aproveitar?
• Essas ferramentas possuem conectores de Big Data ou métodos de interface?
• Quais novas ferramentas podem ajudar com sua mineração de dados, análise, visualização, relatórios, etc.?
• Como e onde os dados serão armazenados?
• Serão utilizados Data Lakes? Em nuvem ou on-premises?
• Arquiteturas de Enterprise Data Hubs serão consideradas?
• Quais são as ferramentas de relatórios e visualização necessárias para alcançar o sucesso aos olhos dos usuários finais?

 

4. Criação de um “Total Business Value Assessment”

Avalie suas opções com um “Total Business Value Assessment”. Isso significa que você realiza pelo menos uma análise de custo total de propriedade de 3 anos, mas você também inclui itens como o “time-to-business value”, facilidade de uso, escalabilidade, base em padrões e o nível de maturidade da empresa. No entanto, antes de começar a avaliar as opções da sua solução, é importante conhecer sua “equipe de compras”. As equipes de compras geralmente consistem em partes interessadas de múltiplos níveis organizacionais e às vezes divisões múltiplas fora da TI. No mínimo, deve haver um patrocinador executivo, líder do projeto ou líder da equipe do projeto, tomador de decisões técnicas e um decisor econômico.

Todo o seu time de compras precisa estar envolvido na avaliação das opções. As opções começam com quem você está confiando para implementar seu projeto: fazer você mesmo com recursos internos e / ou buscar fornecedores de software, trabalhar com integradores de sistemas, implantar com provedores de serviços na nuvem ou usar empresas de consultoria de Big Data. Recomendamos procurar cada opção de implementação e pesá-las em relação às suas prioridades comerciais específicas. Mas não se esqueça de incluir: Time-to-Business Value, Facilidade de Uso, Escalabilidade, Baseado em Padrões e Maturidade da Empresa. Ao avaliar soluções, documente como cada uma executa essas e outras dimensões importantes.

Time-to-Business Value

Como os projetos exigem um investimento inicial significativo, é importante entender quanto tempo antes que a solução comece a gerar valor. Como muitos desses projetos podem ampliar demais os prazos acordados pelo fornecedor, é recomendável solicitar informações sobre projetos de escopo semelhantes que já foram concluídos para outros clientes a fim de determinar melhor se o fornecedor entrega os marcos estabelecidos. Qual é o valor do time-to-business?

Facilidade de Uso

Ao considerar as novas soluções de Big Data, é imperativo considerar como a solução afetará sua necessidade de aumentar os recursos internos para implementação e manutenção contínua. Especificamente, novos recursos, como Cientistas de Dados e Engenheiros de Dados, podem ser necessários para gerenciar um projeto internamente. Além disso, serão necessários recursos de TI corporativos para manter o projeto uma vez implementado. A facilidade de uso também se traduz em facilidade de integração dentro de sua infraestrutura técnica interna. Isso pode ter um grande impacto no valor do tempo para o negócio.

Escalabilidade

As soluções ideais se expandirão com as necessidades de negócio em constante evolução. Enquanto um caso de uso pode ser o driver inicial, a solução ideal irá suportar casos de uso futuros. Além disso, considere os custos associados à escala. (Algumas soluções oferecem capacidade inicial a baixo custo, mas o custo aumenta rapidamente à medida que a expansão ocorre.)

Baseado em Padrões

No mundo de hoje, as tecnologias populares vão e vem. Considere se suas soluções propostas utilizam tecnologias baseadas em padrões abertos e melhores em sua classe para impulsionar inovação e receita para as necessidades da empresa. Além disso, explore os riscos associados com a capacidade de adaptar a sua solução e sua capacidade de agir rapidamente quando precisar fazê-lo.

Maturidade da Empresa

Um aspecto importante da seleção é se a solução pode operar dentro de uma configuração corporativa. As soluções ideais possuem alta disponibilidade e recuperação de desastres. Além disso, elas irão apoiar as suas necessidades de segurança e conformidade de negócios e atender seus SLAs definidos atualmente. Para entender melhor como as soluções funcionam em um ambiente empresarial, entre em contato com as referências dos clientes empresariais do provedor de soluções.

Custo total de propriedade de 3 anos. Você precisa adicionar seus custos ao longo de pelo menos três anos para apreciar alguns dos custos recorrentes que podem não ser completamente evidentes no primeiro ano. Os custos incluem a infraestrutura do centro de dados (piso, racks, energia, conectividade), hardware (computação, armazenamento e rede), software (Big Data Stack, SO, software de monitoramento, software de segurança, software de análise), custos de pessoal (gerenciamento de sistemas / NOC, desenvolvimento, consultoria). A utilização de soluções open-source, bem como como uma implementação em nuvem podem reduzir significativamente o custo total de propriedade.


Muito trabalho, não é? Pensando nisso, preparamos a primeira Formação do Brasil totalmente voltada à implementação de um projeto de Big Data do início ao fim, a Formação Engenheiro de Dados, um programa completo com tudo que é necessário para implementar de forma eficiente e profissional um projeto de Big Data que possa trazer retorno para a empresa. O programa, 100% online e 100% em português, é composto de 5 cursos:

– Design e Implementação de Data Warehouses
– Data Lake – Design, Projeto e Integração
– Segurança e Alta Disponibilidade de Dados
– Machine Learning e IA em Ambientes Distribuídos
– Analytics – Visualização, Relatórios e Tomada de Decisões com Big Data

Ao longo de todos os cursos, os alunos terão a chance de definir, projetar e implementar uma infraestrutura completa para armazenamento e processamento de Big Data, construindo Data Warehouses com banco de dados Oracle e Amazon Redshift, construindo Data Lakes usando Hadoop, Spark e bancos de dados NoSQL, integrando os ambientes para criar um Enterprise Data Hub, executando cargas de dados ETL e extração e armazenamento de Streaming de Dados, além de executar aplicações de Machine Learning e IA em ambientes distribuídos.

Clique no link abaixo e comece sua jornada de aprendizagem hoje mesmo.

 

Formação Engenheiro de Dados

 

Equipe DSA

 

Referências:

Formação Engenheiro de Dados

Disruptive Possibilities: How Big Data Changes Everything

Why Big Data projects fail and how to make 2017 different

Gartner Says Business Intelligence and Analytics Leaders Must Focus on Mindsets and Culture to Kick Start Advanced Analytics

How To Do a Big Data Project

Where Big Data Projects Fail

How to start a Big Data Analytics project

7 Steps to Consider Before Kickstarting Your Big Data Project

Why No Company Should Start A Big Data Project Right Now