Busca

Busca  



Todos os Horários estão como UTC - 3 horas




Criar novo tópico Responder Tópico  [ 6 Mensagens ] 
Autor Mensagem
 Assunto do Tópico: << Palestra de brasileiro no Google - parte 5 >>
MensagemEnviado: Sex Dez 16, 2005 10:33 pm 
Offline
Colunista
Avatar de usuário

Data de registro: Qui Dez 16, 2004 12:45 am
Mensagens: 245
Localização: Niterói, RJ, Brasil
(continuação da parte 4)

Em sua palestra na PUC, Luiz André Barroso explicou também que as necessidades computacionais do Google são explosivas e baseiam-se no seguinte tripé:

    * Mais dados
    * Mais queries
    * Melhores resultados
Cada novo serviço que o Google lança aumenta ainda mais sua fome computacional. "Mais dados" porque a web não pára de crescer, assim como os blogs e as caixas individuais de correio. "Mais queries" porque o número de usuários do Google não pára de aumentar e quanto mais contentes eles estiverem com o serviço, a tendência é que o sistema cresça ainda mais rápido. "Melhores resultados" porque a equipe do Google permanece continuamente pesquisando novas maneiras de atender às queries da forma ainda mais rápida e precisa.

As metas que o Google propõe a si mesmo impõem um terrível desafio para a plataforma computacional da empresa. Os camaradas querem criar a maior infraestrutura de computadores do mundo, simplesmente isso. E mais: precisam se certificar de que terão grana para montar e dar manutenção a esse sistema gigantesco. Para tanto, é necessário que eles se superem para tornar ultra-eficiente sua infraestrutura computacional através da atuação nas seguintes áreas:

    * Projeto e arquitetura de servidores
    * Eficiência do suprimento e uso de energia
    * Software de sistemas
    * Sistema de redes em grande escala
    * Ajuste fino e otimização de desempenho
    * Gerenciamento de sistemas
    * Automação de reparos

Com relação à filosofia de projeto do arcabouço de hardware, a equipe do Google dá preferência a servidores de baixo custo. Nada de monstrengos ou super-computadores caríssimos. Acreditemos: eles não poderiam pagar. Os projetos só se tornam viáveis se forem baseados em PC's comuns. Mas há outros motivos.

O desempenho de uma única máquina hiper-poderosa não interessa a eles. O grande "problema Google" pode ser (e é) quebrado em probleminhas menores, ou seja, uma tarefa gigantesca pode ser particionada em vários threads de processamento, o que está de pleno acordo com a tendência moderna de chips multicore (múltiplos núcleos).

De acordo com o palestrante, outro aspecto da questão é que um hardware super-robusto torna os programadores preguiçosos. Além disso, se considerarmos que até as mais confiáveis plataformas acabam um dia dando pau, torna-se clara a necessidade de um software tolerante a falhas que, por sua vez, pode rodar em componentes de baixo custo.

Imagem
Flagrante das entranhas do Google em 1999. Observar que as placas eram separadas por tabuletinhas furrecas, algumas das quais encurvadas.

Imagem
Os racks do Google são feitos por eles mesmos usando placas-mãe comuns de PC. Os dispositivos de armazenamento e de rede também são do tipo baratinho. Roda tudo em Linux e o software é todo feito "em casa".

Imagem
Quando apagam as luzes na sala dos servidores, é assim que o Google fica durante a noite. Que visú, hein rapaziada?

Mesmo assim, digo, agindo a la "mão-de-vaca", os custos da rede Gigabit de um cluster do Google são bem altos. Existe uma grande defasagem entre os melhoramentos na razão custo/eficiência no universo dos servidores e o no universo do hardware de redes. Luiz André reclama que a indústria de redes não está motivada a atender os requisitos específicos de uma operação gigantesca como a do Google. Em função disso, a equipe interna tem que rebolar para produzir o que o mercado não oferece. E tudo isso sem quebrar as finanças.

Há uma outra questão que atormenta a empresa -- Energia. Nas últimas duas décadas a indústria dos computadores deu pouca atenção à variável eficiência energética. A loucura imposta pelo mercado impulsionando as empresas na busca pelos MegaHertz criou sistemas cada vez mais ineficientes com relação ao consumo de energia. Este descaso inevitavelmente terá impacto no custo dos equipamentos no futuro.

Imagem

No gráfico acima vê-se três curvas representando desempenho ao longo de três gerações de plataformas Google. A curva de cima é a de desempenho puro. A segunda é desempenho versus preço de servidor. A mais de baixo é a curva de desempenho versus Watt (potência). Nota-se que esta terceira está quase estagnada. Em resumo, os servidores ficaram mais poderosos, o preço deles proporcionalmente diminuiu, mas a eficiência energética continuou a mesma.

Luiz André deu um claro exemplo com um servidor de alto-volume Xeon com CPU dual. O sistema consome 250 Watts. Considerando que para refrigerar 1 Watt de potência é necessário gastar mais 1 Watt, então para refrigerar essa engenhoca é preciso dispender 500 Watts. Ou seja, fazendo as contas, o palestrante conclui que em quatro anos de funcionamento, o gasto energético com este servidor equivalerá a 50% do seu preço da máquina. E isso sem levar em conta os custos com distribuição de energia, no-breaks e suprimento energético de backup. E também sem considerar as deficiências no suprimento de eletricidade nem as assustadoras previsões de aumento no custo da energia.

Imagem

O gráfico acima é um tanto inquietante. Considerando que o preço de um servidor se manterá constante lá pela casa dos US$ 3.000 (a reta vermelha horizontal), tem-se quatro curvas distintas contemplando cenários de futuros aumentos no custo energético. A curva de cima (preta) representa um aumento de 50%, a segunda (azul) 40%, a terceira (verde) 30% e a de baixo (amarela) representa um custo 20% maior que o atual. Agora observe bem os pontos onde essas curvas cruzam a linha vermelha horizontal: são os momentos em que o custo do hardware será igual ao custo da energia gasta para mantê-la funcionando. Se o aumento no custo energético for de 20%, este ponto acontecerá em cerca de 4,3 anos. No entanto, se o aumento for de 50%, o ponto de equiparação ocorrerá 1 ano e meio.

O Google está com suas atenções voltadas para este problema. No curto prazo, a solução para o mercado é investir pesadamente na tecnologia de chips multiprocessados. Todavia, a longo prazo serão necessárias mudanças fundamentais tecnológicas para que a situação não chegue a um ponto crítico.

Neste sentido, o Google está trabalhando bem de perto com os fabricantes de processadores de modo a promover projetos mais energeticamente eficientes. Além disso vem particpando da bolação de novos servidores e fontes de alimentação mais otimizados em termos de consumo elétrico. Graças a estes esforços, o Google tem obtido excelentes resultados especialmente na tecnologia de data centers, com foco na distribuição eficiente de energia e numa refrigeração mais otimizada.

Barroso encerrou sua brilhante apresentação lembrando que atrás de cada serviço oferecido pelo Google existe uma coleção de difíceis problemas técnicos que precisam ser resolvidos em diversos níveis: algoritmos, aprendizado pela máquina, compiladores, engenharia mecânica, estatística, estruturas de dados, hardware, inteligência artificial, interfaces com usuário, linguagens de programação, projeto de produtos, recuperação de informações, redes, sistemas distribuídos e tolerância a falhas, apenas para citar alguns.

Ele ressaltou que o sentimento geral na empresa é que ela está apenas começando. Há grandes oportunidades para crescimento em todos os serviços Google atuais, ainda existem um monte de serviços inovadores que a empresa ainda não está oferecendo e, o mais importante de tudo, ainda há muita diversão pela frente.

Termina aqui então esta série, com aplausos de pé ao brilhante Luiz André Barroso pela notável palestra com que nos brindou naquela tarde na Gávea.


Editado pela última vez por C@T em Sex Dez 16, 2005 10:35 pm, num total de 1 vezes

Voltar ao topo
 Perfil  
 
 Assunto do Tópico:
MensagemEnviado: Sáb Dez 17, 2005 5:48 pm 
Offline
Usuário Pleno
Avatar de usuário

Data de registro: Dom Mar 09, 2003 10:40 pm
Mensagens: 430
Localização: Santo André - SP
Uma vez haviam me falado que o Google utilizava diversos computadores comuns, formando um cluster, ao invés de servidores high-end. Achei muito legal essa idéia. Acho que isso mostra que nem sempre o sucesso de uma empresa se relaciona com a tecnologia empregada, mas sim de como ela consegue otimizar o hardware para sua necessidade. Uma grande inovação.


Voltar ao topo
 Perfil E-mail  
 
 Assunto do Tópico:
MensagemEnviado: Seg Dez 19, 2005 7:51 am 
Offline
Usuário Senior
Avatar de usuário

Data de registro: Seg Dez 16, 2002 12:00 pm
Mensagens: 5457
Localização: Contagem MG
O lance do custo e consumo de energia é bem interessante.
Esse pessoal que mantém maquinário rodando 24HS por dia para oferecer serviços principalmente de internet, devem ficar todos loucos quando chega a conta.
Queria saber quanto esse povo paga em média. :twisted:

Belo artigo !


:wink: :arrow:


Voltar ao topo
 Perfil  
 
 Assunto do Tópico:
MensagemEnviado: Dom Jan 01, 2006 5:48 pm 
Offline
Avatar de usuário

Data de registro: Sáb Jul 24, 2004 11:38 am
Mensagens: 225
Localização: Rio de Janeiro - RJ
Prezado C@t:

Aproveitando seu conhecimento do Google e sua proximidade com medalhões de lá, diga pra nós: como são tratados os dados do gmail? O que eles acham de se usar o gmail como disco virtual (gmail drive)? Qual os riscos de perdas de dados, considerando até que se trata de um produto beta? E como são reservados esses espaços gigantescos para cada usuário e como são distribuídos e recuperados os dados de cada um?

Acho que exagerei...


Voltar ao topo
 Perfil E-mail  
 
 Assunto do Tópico:
MensagemEnviado: Qui Jan 05, 2006 12:33 am 
Offline

Data de registro: Qui Out 06, 2005 2:14 pm
Mensagens: 88
Localização: SP/SP
Acho que estou atrasado....hehe...

Mas pelo que eu andei pesquisando na Internet e com meus conhecidos nas empresas de tecnologia (do Br e de fora) é isso mesmo, o foco das empresas agora é saber a performance do equipamento, quanto ele consome de energia (para processar e mante-lo em condições ideias para isto) e qual o espaço físico que ocupa.
Usam o Google como case porque a quantidade de equipamentos (CPUs) necessários para o processamento dos serviços do Google é muito grande. Em casos como o Google, não ajuda muito ter uma "caixa" grande com vários processadores mas sim várias "caixas" pequenas com poucos processadores, trabalhando em paralelo e não enfileirando o processo. Mesmo em grandes equipamentos com muitas CPUs e trabalhando com multiprocessamento (aplicação possibilitando isso junto com o SO, claro) e tudo mais, quanto de energia e espaço seria necessário para ter a performance que esperamos?!

Acredito que já começamos a entrar em uma nova era...vide o lançamento da Sun Microsystems ( UltraSPARC T1: http://www.itarchitect.com/shared/artic ... =175001532 ) onde um pedaço de Silício (CPU) pode trabalhar como se fosse 8 (cada core com 4 threads, totalizando até 32 threads em um chip) ocupando apenas o espaço de um desktop e consumindo menos do que o PowerPC ( vide a reportagem do link para maiores detalhes )....

Isso é legal, assim como as melhorias da F-1 acabam chegando ao meu Fiat-Palio (Fly-by-wire, lembram-se disto?) quem sabe meu PC não vai poder ter mais cores consumindo menos energia e sendo menor ainda....quem sabe...


abraços a todos!


Valter


Voltar ao topo
 Perfil  
 
 Assunto do Tópico:
MensagemEnviado: Qui Jan 26, 2006 3:47 pm 
Offline

Data de registro: Seg Jan 23, 2006 9:13 am
Mensagens: 7
--- editado pelo moderador ---
--- usuário banido por floodar tópicos, postando sobre corrente ---


Voltar ao topo
 Perfil  
 
Mostrar mensagens anteriores:  Organizar por  
Criar novo tópico Responder Tópico  [ 6 Mensagens ] 

Todos os Horários estão como UTC - 3 horas


Quem está online

Usuários vendo este fórum: Nenhum usuário registrado online e 0 visitantes


Você não pode criar novos tópicos neste fórum
Você não pode responder tópicos neste fórum
Você não pode editar suas mensagens neste fórum
Você não pode excluir suas mensagens neste fórum
Você não pode enviar anexos neste fórum

Ir para:  
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Traduzido por phpBB do Brasil
logo
logo

Copyright © 2000-2010 Fórum PCs - Todos os direitos reservados.
Não nos responsabilizamos por danos de qualquer espécie causados pelo uso das informações aqui divulgadas.