Tópicos | bigdata

[@#video#@]

O Recife recebeu na última semana o V Seminário de Ciência Política, que teve como tema principal as manifestações realizadas no país entre os meses de junho e julho deste ano. A iniciativa contou com renomados nomes da área, como Adriano Oliveira, Maurício Romão, Francisco Guimarães, do Instituto GPP, e João Francisco, do Vox Populi, além de Janguiê Diniz, reitor do Centro Universitário Maurício de Nassau. A programação ocorreu no auditório Capiba, na UNINASSAU.

##RECOMENDA##

Para a quarta mesa, o estatístico, Carlos Gadelha (Instituto de Pesquisa Maurício de Nassau) explicou melhor sobre o Bigdata, ou seja, quantidade de datas que são grandes e associados ao volume, variedade, velocidade, veracidade e valor de datas. "Então, a quantidade de informação é muito grande, por termos a quantidade de ferramentas disponíveis na rede social,  que fazem com que as informações sejam vastas pela quantidade de redes", disse.

O V Seminário de Ciência Política foi realizado na Centro Universitário Maurício de Nassau - UNINASSAU, por meio do Instituto de Pesquisa Maurício de Nassau (IPMN) e em parceria com o Portal LeiaJá, a Contexto editora, o Sindicato das Agencias de Propaganda do Estado (Sinapro) e a Associação Municipalista de Pernambuco (Amupe).







Nenhuma outra área do mercado de trabalho de TI experimentou o crescimento de demanda e a disparidade de oferta que o campo da análise de dados experimentou. À medida que o Big Data continua a crescer, e o campo da análise continua a amadurecer, eles estão se tornando uma parte importante do negócio e do processo de tomada de decisão, levando a competição por grandes talentos à se transformar em uma verdadeira briga por contratações.

Em um relatório sobre Biga Data, o instituto McKinsey Global  prevê que até 2018, os EUA passarão por uma escassez enorme de pessoal da área de análise. "Ocorrerá uma escassez de talento necessário para que as organizações tirem proveito do Big Data. Até 2018, só os Estados Unidos podem encarar uma falta de 140 mil a 190 mil pessoas com profundas habilidades de análise como também 1,5 milhões de gerentes e analistas com o conhecimento para utilizar a análise de grande volumes de dados a fim de tomarem decisões eficientes”, diz o relatório.

##RECOMENDA##

O McKinseyGlobal Institute Report prevê também que as empresas que utilizam a análise em seu potencial total podem aumentar as margens de operação em até 60 por cento. Empresas estão atendendo a chamada, criando competição pelos melhores talentos. Apenas reforçando o quão competitivo o mercado é, um relatório da Dice, do início deste ano, afirma que a atual taxa de desemprego da TI está em torno de 3,6%.

“Os CIOs de hoje em dia precisam de alguns pensadores do tipo ‘dados são dados’ que não se intimidem pelo quão “grande” os dados são ou se eles englobam ou não SKUs por loja, cliques por oferta ou mudança de preço por “home listings””, conta Scott Bailey, vice presidente executivo de estratégia e análise da Target Data.  Este tipo de papel está se tornando tão crucial que as empresas que têm problemas para encontrar essas pessoas poderiam enfrentar atrasos no lançamento de produtos e vários atrasos em projetos como resultado disso.

A análise de negócios é uma tendência Alguns fatores importantes impulsionando essa tendência são o crescimento explosivo do Big Data à medida que as empresas se apressam para encontrar dados úteis e contestáveis dentre o constante crescimento de dados sendo coletados.

De acordo com pesquisa recente da Accenture com 258 líderes de negócios da América do norte, 72% deles planeja aumentar os gastos com a análise de negócios este ano. "A demanda é extremamente alta e o fornecimento é muito baixo – especialmente nos níveis mais seniores (ex: análises mais ‘críticas’). Isso significa que não existe muita concorrência pelas vagas", conta Bailey.

Além disso, especialistas avisam que escolas e universidades ainda não acompanharam esta tendência e ainda não estão ensinando as habilidades necessárias para preencher essas vagas analíticas. A pesquisa da Accenture também nota que muitas nações em desenvolvimento estão passando os EUA quando o assunto é a formação de pessoal com graduação nesses campos quantitativos.

Superando a escassez de habilidosos trabalhadores de TI
Não existem atalhos aqui. Sua empresa deve estar formulando seus planos para encontrar a mistura correta de habilidades analíticas combinadas com conhecimento de negócios e experiência em seu campo particular. Para atrair o talento que você precisa, Anil Kaul, CEO da AbsolutData, uma empresa de pesquisa e análise, oferece as seguintes dicas para começar:

1 - Saiba o que você precisa: "Para alguns, Big Data significa visualização de dados e relatórios, para outros significa mineração de dados e análise preditiva. Profissionais de análise possuem pontos fortes em diferentes áreas – alguns são tecnicamente melhores enquanto outros são melhores na interpretação de números a fim de criar a resposta para questões dos negócios, enquanto outros são ainda melhores na utilização de tecnologias analíticas para responder questões analíticas", conta Kaul. “É crítico saber a área de habilidade para o talento que você está buscando”, conta ele. “Por isso é importante saber as habilidades analíticas específicas pelas quais você os está contratando”.

2 - Crie caminhos de carreiras: “Organizações que podem exibir um caminho claro que leve a cargos de alto perfil dentro da organização são mais prováveis de atrair talentos analíticos”, conta Kaul. À medida que a análise continua a crescer, também crescerão as diferentes oportunidades dentro das organizações. Revisite esses caminhos para ver onde é necessário fazer atualizações.

3 - Ilustre o impacto do negócio: “Nesses dias de escassez de talentos analíticos, é importante mostrar como o trabalho está relacionado diretamente com o impacto de negócio que a análise de dados pode criar”, conta Kaul. “Muitos profissionais da análise foram colocados em segundo plano por muito tempo e agora querem chegar à vanguarda da estratégia de negócios”.

4 - Transmita entusiasmo: “A análise está passando por um momento entusiasmante, então é crítico mostrar que a organização, particularmente a gestão sênior, está entusiasmada em relação ao impacto que a análise pode criar na organização”, conta Kaul. “Entusiasmo é contagiante e é uma forma muito boa para atrair talentos superiores”.

O que buscar em um profissional da análise
À medida que o mercado se torna mais competitivo, as empresas que conhecem as características exatas que estão buscando ficarão em uma posição muito melhor para contratar as pessoas corretas. Bailey, da Target Dat,a oferece algumas características a serem buscadas ao contratar pessoas para ocuparem posições de análise.

Principais habilidades
> Dados — Experiência sobre como os dados são organizados, acessados, limpados e integrados.
> Estatística básica -- Crosstabs, teste de significância e/ou modelagem linear geral.
> Soluções criativas para problemas – Alguém que é bom em solucionar jogos de quebra-cabeças, visualização e estratégia.

Educação
> Ciências sociais – Os candidatos devem ter uma boa mistura de dados, desenho experimental e teoria
> Pesquisa de mercado – Abordagens para a amostra, teste, segmentação e experiência de reporte são um adicional.
> Estatísticas avançadas – Não paramétricas, redes neurais e/ou modelagem econométrica.

Especialistas também apontam que a resposta para seus problemas analíticos podem exigir as habilidades de mais de uma pessoa. A quantidade de conhecimento necessário para cargos analíticos está crescendo rapidamente. Diferentes áreas de sua organização podem exigir pessoas analíticas, mas o lado dos negócios pode exigir pessoas com diferentes áreas de especialidade. Este é só outro ponto que demonstra a complexidade desses papeis.

“Os analistas de hoje em dia são semelhantes aos profissionais criativos de ontem, diferentes dos da TI. Os CIOs precisam reconhecer a natureza de ‘oficina de criação’ deste papel e devem contratar indivíduos para um ambiente onde eles tenham a oportunidade de montar um quebra-cabeças e de produzir uma solução”, conta Bailey.

Encontrando talentos da análise
Onde encontrar o talento necessário para preencher os papeis analíticos de sua empresa é a questão mais difícil de ser respondida. Bailey tem duas sugestões: 

1 - Buscar em empresas com ambientes ricos em dados e que são líderes em suas categorias. “Se uma empresa possui uma abundância de dados relevantes a sua receita está entre as melhores em sua categoria (ex: Amazon, Harrah, Capital One). Elas estão recheadas com excelentes talentos analíticos”, conta Bailey.

2 - Utilizar serviços de consultoria até que você possa colocar suas mãos em pessoal analítico interno. Conforme a demanda e a competição crescem nesse mercado, você pode ter certeza de que analises mais avançadas serão obtidas de fontes externas.  Contratar e manter os melhores talentos analíticos exige diferentes estratégias para diferentes empresas. A empresa que o fizer corretamente, contudo, terá uma vantagem sobre sua concorrência.

A avalanche de dados produzida por redes sociais, sensores, redes de abastecimento e todos os tipos de dispositivos estão criando novos empregos. O Gartner estima que Big Data exigirá a contratação de um exército de 4,4 milhões profissionais em todo o mundo até 2015. Em solo nacional, cerca de 500 mil vagas serão abertas nesse mercado, de acordo com o instituto de pesquisas.

Segundo um relatório do McKinsey Global Institute, de maio de 2011, intitulado “Big Data: The next frontier for innovation, competition, and productivity”, há escassez de talentos para as organizações iniciarem suas estratégias em Big Data. Acredita-se que essa lacuna seja o maior bloqueio para a adoção em massa da tecnologia pela indústria.

##RECOMENDA##

Michael Rappa viu essa tendência emergente em 2007 e tornou-se o diretor-fundador do Instituto de Análise Avançada da Universidade da Carolina do Norte, nos Estados Unidos. Ele criou na instituição educacional um mestrado no programa de Analytics, o primeiro curso acadêmico dedicado à análise de dados. Sua ideia era capacitar profissionais para atuarem com a grande massa de dados. Agora, universidades nos Estados Unidos estão criando programas semelhantes, iniciativas que devem ser replicadas no Brasil.

Por aqui, empresas estão promovendo cursos de Big Data, como é o caso da EMC. A fabricante abriu processo seletivo para a primeira edição da Summer School on Big Data (Escola de Verão EMC em Big Data). O curso gratuito reunirá, de 4 a 7 de fevereiro de 2013, pesquisadores de todo o Brasil para um programa focado em temas relacionados ao processamento e a análise de grandes volumes de dados.



Como atuar na área

Rappa explica o que constitui um trabalho em Big Data e os tipos de treinamento que os profissionais terão de buscar para atuar na área. Segundo ele, seria um equívoco descrever empregos em Big Data simplesmente a partir de um conjunto de ferramentas ou linguagens de programação.

Leia também:

Cientista de dados: profissão do futuro?

O profissional que vai lidar com a tecnologia tem de ser experiente para poder extrair conhecimentos significativos a partir da avalanche de dados que invade as organizações. “Aí é que nasce a figura do cientista de dados”, resume Fernando Belfort, analista sênior de Mercado da Frost & Sullivan.

“Em meio a uma montanha de dados, o cientista de dados deve localizar padrões e identificar insights, fornecendo subsídios para que empresas identifiquem o melhor caminho para conduzir os negócios e conquistar diferencial competitivo”, explica Pedro Desouza, cientista de dados da EMC, que há 20 anos trabalha no segmento.

Com a rápida evolução desse mercado, Rappa afirma que, hoje, há um déficit de talentos na área. “Precisamos fazer mais para alinhar as ofertas educativas com as necessidades de rápida evolução do mercado”, avalia.

Ele afirma que no Instituto de Análise Avançada da Universidade da Carolina do Norte o número de vagas para profissionais interessados em especialização de Big Data dobrou do último ano para cá. “Se existissem mais dez institutos como esse, seriam 200 profissionais se formando ao ano. Ainda assim, isso representaria cerca de 1% do número de alunos matriculados em programas de MBA nos Estados Unidos”, destaca.

Para alunos de graduação em ciências, tecnologia, engenharia e matemática que querem seguir carreira em Big Data ele afirma que a boa notícia é que não é preciso um doutorado para atuar na área. “Tivemos grande sucesso com pessoas com nível de mestrado relatando que tiveram oportunidades imediatas”, relata.

Desde a fundação do Instituto, em 2007, ano após ano, segundo ele, a demanda por alunos se intensificou. “Os alunos que se formaram em maio passado realizaram uma média de 16 entrevistas de trabalho, e mais de 80% tinham duas ou mais ofertas de emprego”, detalha. “Quarenta empregadores foram até o Instituto para tentar contratar. Os seis maiores contrataram dois terços da classe. Pelo quinto ano consecutivo, mais de 90% dos nossos alunos foram empregadas pela graduação. Salários médios continuam a aumentar ano após ano”, observa.

No Brasil, lembra Belfort, não há certificações focadas no tema. “Esse profissional tem de ser criado pelas empresas e pela indústria a partir de uma necessidade”, ensina. “Fabricantes já começam a mapear o ecossistema para impulsionar o desenvolvimento da carreira de cientista de dados. Até porque, não se pode vender uma tecnologia sem ter quem operá-la. É como um barco sem comandante”, completa.

Para ingressar nessa seara

“Meu conselho para alunos de graduação é realizar um curso preparatório com os pré-requisitos necessários em matemática, estatística e ciência da computação, para se preparar para a pós-graduação. Isso significa ir além de um ano de cálculo e álgebra linear e matriz”, aconselha Rappa.

Para quem já está mais tempo no mercado, Rappa afirma que é preciso mergulhar em um rigoroso e intensivo treinamento por cerca de dez meses. “Não há nada como a proximidade física para maximizar o aprendizado”, acredita.

Como nem todos os profissionais podem abandonar seus trabalhos por dez meses, alguns podem acumular experiência na posição atual. “Certificações oferecidas por fornecedores e entidades podem ajudar os executivos a demonstrar seus conhecimentos e avançar a carreira”, completa.

As habilidades técnicas são apenas uma parte do pacote, avalia Rappa. “Os empregadores querem pessoas que entendem os métodos e as aplicações de análise, mas também que estejam focados no problema de negócios. Além disso, é preciso ser capaz de trabalhar em equipes multifuncionais e estabelecer comunicação de ideias aos executivos”, afirma.

Belfort afirma que o pessoal da área terá um salário acima da média e será disputado pelo mercado. “O profissional brasileiro de TI é um dos mais bem remunerados na América Latina e a tendência é que ele ganhe mais do que os demais”, observa.

Eliminando as barreiras de falta de talento e especialização, o analista da Frost acredita que cada vez mais o mercado brasileiro vai diminuir a distância e o tempo de adoção da tecnologia em comparação com geografias mais maduros. “É uma evolução natural”, finaliza.

Com um bilhão de usuários e requisitos para analisar mais de 105 terabytes a cada 30 minutos, o apetite do Facebook por dados atingiu proporções descomunais. Muito dos dados da rede social - incluindo dados relativos a 2700 milhões de "Likes" e 2,5 bilhões de itens de conteúdo compartilhados por dia -  são devorados e analisados ​​a fim de otimizar os recursos e o desempenho publicitário do Facebook.

A Hadoop é a ferramenta chave, e não simplesmente para análise , mas como um motor para muitos recursos oferecidos por ela, incluindo mensagens. Essa carga de trabalho monstruosa levou a empresa a lançar o seu projeto Prisma, que suporta dados distribuídos geograficamente em diversas instalações Hadoop. O Prisma permite o Facebook mover dados de onde quiser, Prineville, Oregon, Forest City, Carolina do Norte, Suécia.

##RECOMENDA##

Tradicionalmente, não seria possível trabalhar com instalações Hadoop geograficamente separadas porque os pacotes de rede não poderiam viajar entre os servidores rápido o suficiente. Mas o Prisma muda isso ao replicar automaticamente e mover os dados sempre que necessário através de uma vasta rede de servidores, separando fisicamente este enorme armazém de dados, mantendo uma única exibição lógica dele.

Graças a técnicas avançadas de processamento o Facebook pode deteminar a eficácia de recursos ou propagandas direcionadas a áreas geográficas muito específicas ou áreas demográficas, incluindo sexo, idade, interesses, e assim por diante, melhorando a segmentação. Em termos de capacidade de Hadoop, o Facebook atingiu um limite extraordinário. Recentemente, a empresa declarou-seproprietária daquele que é provavelmente o maior cluster Hadoop do mundo, com 100 petabytes. E, no entanto, a empresa diz que não é grande o suficiente.

O Projeto Prisma é a resposta da empresa para alcançar novos patamares de capacidade Hadoop. Com o Prisma, uma camada de abstração lógica é adicionada para que um cluster Hadoop possa ser executado através de vários centros de dados, removendo efetivamente os limites de capacidade.

O Facebook diz que vai abrir o código do Prisma em breve. Para o mundo dos negócios, isso pode ser tão grande quanto um movimento feito pelo Yahoo ao lançar o Hadoop como código aberto em 2006.

Embora não seja claro o quão prático o Prisma seria para todos, não custa nada lembrar que as mesmas perguntas foram levantadas sobre o Hadoop e NoSQLtempos atrás. Vamos acompanhar o que os engenheiros do Facebook estão desenvolvendo! Com certeza surgirão coisas interessantes, afinal de contas, eles estão escalando uma montanha de dados que muitos de nós podem apenas sonhar. Quando isso acontece, é preciso ser criativo.

Leianas redes sociaisAcompanhe-nos!

Facebook

Carregando