O aumento da computação em nuvem (Cloud Computing) tem sido um precursor e facilitador para o surgimento do Big Data. Embora o Big Data traga muitas oportunidades atraentes, as empresas também enfrentam muitos desafios. Coleta dos dados, armazenamento, pesquisa, compartilhamento, análise e visualização. Cada uma destas tarefas requer diferentes abordagens, diferentes níveis de segurança, infraestrutura e profissionais capacitados. Nos últimos anos, um grande número de técnicas e tecnologias de Big Data se desenvolveram para superar todos esses obstáculos. E o Cloud Computing tem sido o suporte necessário para o crescimento na adoção de uma cultura data driven que permita as empresas extrair do Big Data os insights necessários para a tomada de decisão mais consciente.

Existem vantagens significativas na adoção de Cloud Computing em relação às implantações físicas tradicionais. No entanto, as plataformas em nuvem possuem várias estruturas e às vezes precisam ser integradas com arquiteturas tradicionais, pois todos os serviços de computação em nuvem funcionam de forma um pouco diferente, dependendo do provedor. De acordo com o relatório do Gartner de Julho/2019, o AWS (Amazon Web Service) continua sendo o líder mundial no fornecimento de serviços em nuvem.

gartner-iaas-2019-mq

 

 

Isso leva a um dilema para os tomadores de decisão responsáveis por grandes projetos de dados. Como e qual Provedor de Cloud Computing é a escolha ideal para as necessidades de computação, especialmente se a empresa está iniciando um projeto de Big Data? Esses projetos são sensíveis e se não forem bem dimensionados podem levar a uma explosão da necessidade de armazenamento e processamento, comprometendo seriamente o custo envolvido no projeto. Ao mesmo tempo, as partes interessadas e áreas de negócio esperam por produtos rápidos, baratos e confiáveis e, claro, os resultados do projeto.

Na primeira parte deste artigo, vamos compreender o que é Cloud Computing e na segunda parte vamos investigar sua relação com o Big Data.

 

Cloud Computing

De forma simplificada, a computação em nuvem (Cloud Computing) é a entrega de serviços de computação – servidores, armazenamento, bancos de dados, redes, software, análises – através da Internet (“a nuvem”). As empresas que oferecem esses serviços de computação são chamadas de Cloud Providers e normalmente cobram por serviços de computação em nuvem com base no uso, de maneira semelhante a forma como você é cobrado por água ou eletricidade na sua casa.

Provavelmente você está usando computação em nuvem neste momento, mesmo sem perceber. Se você usa um serviço online para enviar email, editar documentos, assistir filmes online, ouvir música, jogar ou armazenar fotos e outros arquivos, é provável que a computação em nuvem esteja nos bastidores possibilitando tudo isso. Os primeiros serviços de computação em nuvem têm somente uma década, mas diversas organizações – de pequenas startups a corporações globais, de agências do governo a empresas sem fins lucrativos – estão adotando essa tecnologia por diversos motivos.

 

Benefícios da Computação em Nuvem

A computação em nuvem é uma grande mudança na forma tradicional que as empresas pensam em recursos de TI, pois elimina o gasto capital de compra de hardware e software e instalação e execução de datacenters locais – racks de servidores, eletricidade com disponibilidade permanente para energia e resfriamento, segurança de acesso, backup, manutenção e atualização de software, etc… Isso pode impulsionar os negócios da empresa, que pode então focar apenas em sua atividade fim.

A maior parte dos serviços de computação em nuvem é fornecida por autosserviço e sob demanda, para que até grandes quantidades de recursos de computação possam ser provisionadas em minutos, normalmente com apenas alguns cliques, fornecendo às empresas muita flexibilidade e aliviando a pressão do planejamento de capacidade. Os benefícios dos serviços de computação em nuvem incluem a capacidade de dimensionamento elástico. Em termos de nuvem, isso significa fornecer a quantidade correta de recursos de TI, por exemplo, mais ou menos energia de computação, armazenamento e largura de banda, quando necessário e no local geográfico correto. A computação em nuvem exclui a necessidade de muitas dessas tarefas para que as equipes de TI possam usar o tempo delas para alcançar metas de negócios mais importantes (como analisar dados por exemplo).

Os maiores serviços de computação em nuvem são executados em uma rede mundial de datacenters seguros, que são atualizados regularmente com a mais recente geração de hardware, rápido e eficiente. Isso oferece diversos benefícios em um único datacenter corporativo, incluindo latência de rede reduzida para aplicativos e mais economia de escalonamento. A computação em nuvem facilita e reduz os custos de backup de dados, recuperação de desastre e continuidade dos negócios, já que os dados podem ser espelhados em diversos sites redundantes na rede do Cloud Provider.

Big-Data-como-Serviço

Tipos de Serviços em Nuvem: IaaS, PaaS e SaaS

A maioria dos serviços de computação em nuvem se divide em três amplas categorias: IaaS (infraestrutura como serviço), PaaS (plataforma como serviço) e SaaS (software como serviço). Às vezes, eles são denominados pilha de computação em nuvem, pois são disponibilizados um sobre o outro.

IaaS (Infraestrutura como Serviço)

A categoria mais básica de serviços de computação em nuvem. Com IaaS, você aluga infraestrutura de TI, servidores e VMs (máquinas virtuais), armazenamento, redes e sistemas operacionais, de um provedor de nuvem em uma base pré-paga.

PaaS (Plataforma como Serviço)

O serviço PaaS se refere aos serviços de computação em nuvem que fornecem um ambiente sob demanda para desenvolvimento, teste, fornecimento e gerenciamento de aplicativos de software. O PaaS foi criado para facilitar aos desenvolvedores criarem aplicativos móveis ou Web rapidamente, sem se preocupar com a configuração ou o gerenciamento de infraestrutura de servidores, armazenamento, rede e bancos de dados necessários para desenvolvimento.

SaaS (Software como Serviço)

O SaaS é um método para fornecer aplicativos de software pela Internet, sob demanda e, normalmente, em uma base de assinaturas. Com o SaaS, os provedores de nuvem hospedam e gerenciam o aplicativo de software e a infraestrutura e fazem manutenções, como atualizações de software e aplicação de patch de segurança. Os usuários conectam o aplicativo pela Internet, normalmente com um navegador da Web em seu telefone, tablet ou PC.

BDaaS (Big Data como Serviço)

Pode não ser um termo familiar ainda, mas descreve adequadamente um rápido crescimento deste novo mercado. Nos últimos anos, muitas empresas surgiram oferecendo serviços de Big Data baseados em nuvem para ajudar outras empresas e organizações a resolver seus dilemas relacionados a dados.

Estima-se que o mercado de soluções de negócio de TI baseado em nuvem, vai crescer dos atuais 15% para 35% até 2021. Estima-se que o mercado global de Big Data estará valendo 88 bilhões de dólares até 2021 e que apenas o BDaaS estará estimado em 30 bilhões de dólares nesse mesmo ano. Impressionante, não? Muitos podem pensar que se trata de mais um termo para vender serviços e soluções. Mas toda nova tecnologia sofre este tipo de preconceito, até que o mercado perceba seu valor. Infelizmente, quem perdeu tempo apenas criticando ou não dando a devida importância, deixará de aproveitar a oportunidade de aprender sobre a tecnologia e como criar soluções a partir dela. Lembre-se que Facebook e Twitter não existiam até alguns anos atrás e hoje fazem parte da vida cotidiana de bilhões de pessoas em todo mundo. Se ainda não acredita no Big Data, comece a rever seus conceitos.

 

Tipos de Implantação em Nuvem: Pública, Privada e Híbrida

Nem todas as nuvens são iguais. Há três maneiras diferentes de implantar recursos de computação em nuvem: nuvem pública, nuvem privada e nuvem híbrida.

Nuvem Pública

Nuvens públicas são de propriedade de um provedor de serviços de nuvem e operadas por ele, que por sua vez fornece recursos de computação, como servidores e armazenamento pela Internet. O Amazon Web Service, Microsoft Azure e Google Cloud são exemplos de nuvem pública. Com uma nuvem pública, todo o hardware, software e outras infraestruturas de suporte são de propriedade e gerenciadas pelo provedor de nuvem. Você acessa esses serviços e gerencia sua conta usando um navegador Web.

Nuvem Privada

Uma nuvem privada se refere aos recursos de computação em nuvem usados exclusivamente por uma única empresa ou organização. Uma nuvem privada pode estar localizada fisicamente no datacenter local da empresa. Algumas empresas também pagam provedores de serviço de terceiros para hospedar sua nuvem privada. Uma nuvem privada é aquela em que os serviços e a infraestrutura são mantidos em uma rede privada.

Nuvem Híbrida

Nuvens híbridas combinam nuvens públicas e privadas ligadas por uma tecnologia que permite que dados e aplicativos sejam compartilhados entre elas. Ao permitir que dados e aplicativos sejam movidos entre nuvens públicas e privadas, a nuvem híbrida dá aos negócios mais flexibilidade e mais opções de implantação.

 

Big Data e Cloud Computing

Assim como plataformas em nuvem estão crescendo de forma acelerada, também percebemos uma explosão na geração de dados. Nunca a humanidade gerou tantos dados como atualmente e o crescimento do volume de dados é exponencial e constante. O Big Data traz um grande desafio para as empresas. Como coletar, armazenar e analisar esses dados antes que se tornem obsoletos? Qual o custo de armazenamento de um volume de dados que não pára de crescer? Quais as implicações de segurança de acesso a esses dados, uma vez armazenados na rede interna da empresa e suscetíveis a ataques, roubos de informação e vírus? Como gerenciar e proteger a essência desses dados em vez de apenas armazená-los?

Cloud Computing e Big Data são uma combinação ideal para resolver muitos desses problemas. Juntos, eles fornecem uma solução que é escalável e adaptável para grandes conjuntos de dados e análise de negócios. A vantagem da análise seria um grande benefício. Imagine todos os recursos de dados tornando-se facilmente acessíveis e com custo reduzido para a empresa!


Desafios para Big Data na Computação em Nuvem

Assim como o Big Data forneceu às organizações terabytes de dados, também apresentou uma questão de gerenciar esses dados em uma estrutura tradicional. Como analisar a grande soma de dados para tirar apenas os bits mais úteis? Analisar esses grandes volumes de dados muitas vezes se torna uma tarefa muito difícil.

Na era de conectividade de alta velocidade, mover grandes conjuntos de dados e fornecer os detalhes necessários para acessá-los também é um problema. Esses grandes conjuntos de dados geralmente transportam informações confidenciais, como números de cartão de crédito/débito, endereços e outros detalhes, aumentando as preocupações de segurança de dados. Problemas de segurança na nuvem são uma grande preocupação para empresas e provedores. Mas as pesquisas mostram que um ambiente em nuvem tende a ser mais seguro que uma rede corporativa.

Portanto, os principais desafios na adoção de Cloud Computing especialmente para projetos de Big Data, incluem:

* Cultura da empresa que prefere manter os dados “em casa”
* Falta de conhecimento ou profissionais capacitados para trabalhar com projetos em nuvem
* Resistência da área de TI em “perder importância” dentro da organização (o que é um erro, pois a computação em nuvem libera a TI para focar em outras atividades mais críticas para o negócio)
* Problemas com largura de banda para transferência de dados entre a rede da empresa e o Cloud Provider


Oportunidades para Big Data na Computação em Nuvem

Mas se existem desafios na adoção de Cloud Computing para projetos de Big Data, também existem muitas oportunidades e benefícios. Vejamos alguns deles:

* Redução de custo com infraestrutura de TI para armazenamento de grandes conjuntos de dados
* Redução no custo com licença e manutenção de software
* Dados acessíveis de qualquer localidade
* Acesso a infraestrutura de ponta usada pelos Cloud Providers
* Segurança dos dados normalmente maior do que na rede corporativa
* Não é necessário se preocupar com detalhes de Engenharia de um datacenter, como luz, energia, resfriamento, etc… (isso fica a cargo do Cloud Provider)
* Escalabilidade, com rápida expansão da infraestrutura para acomodar um novo projeto
* Capacidade de dimensionamento elástico
* Foco maior na análise de dados, ao invés de foco no armazenamento
* Redução nos custos de backup de dados
* Recuperação de desastre e continuidade dos negócios

 

Em resumo, Cloud Computing faz parte de uma estratégia efetva de Big Data e a busca por profissionais que saibam trabalhar com Cloud Computing de forma eficiente vem aumentando a cada ano. Apontanda como uma das certificações mais valiosas da atualidade, a certificação AWS Certified Solutions Architect – Associate é a porta de entrada para quem quer aprender a trabalhar com ambiente em nuvem de forma profissional e demonstrar suas habilidades. E a certificação AWS Certified Machine Learning – Specialty é o diferencial que pode fazer a diferença no seu currículo.

E se fosse possível fazer um curso 100% online e 100% em português e aprender a configurar um ambiente de armazenamento e processamento de Big Data e Machine Learning em nuvem, com o ambiente em Cloud mais utilizado no planeta, o Amazon AWS (Amazon Web Service)? E se fosse possível aprender a publicar sua aplicação analítica em nuvem? E se ao mesmo tempo que aprende sobre o AWS, fosse possível se preparar para um dos exames de certificação mais valiosos do mercado, a certificação AWS Certified Machine Learning – Specialty. E se fosse possível fazer isso em uma turma fechada, com fórum exclusivo? 

E se fosse possível? Fique atento ao lançamento da Formação Engenheiro de Machine Learning.

Lançamento exclusivo por e-mail. Cadastre-se em nossa plataforma. É gratuito.

https://www.datascienceacademy.com.br

 

Equipe DSA

 

Referências:

Big Data Cloud Database & Computing

What is Cloud Computing?

Cloud Computing + Big Data = Success?

Magic Quadrant for Cloud Infrastructure as a Service, Worldwide

Amazon still crushing cloud competition, says Gartner Magic Quadrant for IaaS

Big Data is all about the Cloud

Big Data como Serviço