Instalado e testado no laboratório D o framework Disco nas máquinas d10 (master), d07,d08, d09, d11, e d12 (slaves). Feito os dois exemplos de contagem de palavras em arquivo texto.
Como sugestão instalar o Hadoop no laboratório F ficando no total 4 ambientes para processamento de alto desempenho
- Cluster DRDB e Sun GridEngine Lab D
- Framework disco para processamento em grandes volumes de Dados Lab D
- MapReduce com Hadoop Lab F (a ser feito)
- Participação no projeto OurGrid no micro grid.unisul.br - a espera de suporte
Sugestão de Leitura
University of Washington: Problem Solving on Large Scale Clusters
Google: MapReduce in a Week
Google Code University - Distributed Systems
terça-feira, 16 de setembro de 2008
Tradução de Texto sobre o Método de Monte Carlo
Iniciado a tradução de um texto sobre o método de Monte Carlo, surgiu da necessidade de revisão após ler uma introdução sobre MaprReduce do Google.
Simulação Básica Monte Carlo
original http://www.vertex42.com/ExcelArticles/mc/MonteCarloSimulation.html
O método de Monte Carlo é uma técnica que envolve o uso de números aleatórios e a probabilidade para resolver problemas. O termo Método de Monte Carlo foi cunhado por S. Ulam e Nicholas Metropolis, em referência aos jogos de azar, uma atração popular em Monte Carlo, Mônaco (Hoffman, 1998; Metropolis e Ulam, 1949).
Simulação computacional tem a ver com a utilizar modelos informáticos para imitar a vida real ou fazer previsões. Quando se cria um modelo com uma planilha de cálculo como o Excel, você tem um certo número de parâmetros de entrada e algumas equações que usam essas entradas para dar-lhe um conjunto de saídas (ou variáveis resposta). Este tipo de modelo é normalmente deterministas, o que significa que você obtem os mesmos resultados não importa quantas vezes você re-calcular.
[figura 1] - Um modelo paramétrico deterministas mapeia um conjunto de variáveis de entrada para um conjunto de parâmetros de saída.
Exemplo 1 um modelo determinista para juros compostos
Um exemplo de modelo determinista é um cálculo para determinar o retorno sobre o investimento de 5 anos com uma taxa de juro anual de 7%, composta mensalmente. O modelo é apenas a equação a seguir:
F = P(1+r/m)^ym
As entradas são o investimento inicial (P = US $ 1000), a taxa de juro anual (r = 7% = 0,07), a composição período (m = 12 meses), e do número de anos (Y = 5).
(simulação em javascrpt)
Um dos propósitos de um modelo como este é fazer previsões e tentar cenários "Oque Se?" . Você pode alterar as entradas e recalcular o modelo e você terá uma nova resposta. Talvez você ainda deseja plotar um gráfico do valor futuro (F) versus anos (Y). Em alguns casos, você pode ter uma taxa de juro fixa, mas o que você faz quando a taxa de juros é permitida a mudança? Por esta equação simples, você poderá ter o cuidado de saber apenas uma pior / melhor dos cenários, onde se calcular o valor futuro basear-se as mais baixas taxas de juro mais elevadas e que você poderia esperar.
[figura 1] - Um modelo paramétrico deterministas mapeia um conjunto de variáveis de entrada em um conjunto de variáveis de saída
Simulação Monte Carlo é um método para avaliar interativamente um modelo deterministico utilizando conjuntos de números aleatórios como entradas. Este método é muitas vezes usado quando o modelo é complexo, não linear, ou envolve mais do que apenas um grupo (couple) de parâmetros incertos. Uma simulação geralmente pode envolver mais de 10000 avaliações do modelo, uma tarefa que no passado era apenas práticos utilizando super computadores.
Exemplo 2 Um modelo estocástico de um conjunto de dobradiças
Um modelo estocástico é que envolve probabilidade ou aleatoriedade. Neste exemplo, temos um conjunto de 4 elementos que compõem uma dobradiça, com um pino ou parafuso através dos centros das partes. Olhando para a figura a seguir, se A + B + C é superior a D, vamos ter dificuldade de colocar estas coisas juntos.
[figura 1] - a dobradiça
Vamos dizer que temos um milhão de cada uma das diferentes partes, e nós precisamos seleccionar ao acaso as partes a fim de montar a dobradiça. Duas partes não vão ser exatamente do mesmo tamanho! Mas, se temos uma idéia da gama de tamanhos para cada lado, então nós podemos simular a seleção e montagem das peças matematicamente.
(continua)
[07/05/18]
Boa introdução sobre o métodode Monte Carlo
Estimando o valor de pi usando o método de Monte Carlo
Simulação Básica Monte Carlo
original http://www.vertex42.com/ExcelArticles/mc/MonteCarloSimulation.html
O método de Monte Carlo é uma técnica que envolve o uso de números aleatórios e a probabilidade para resolver problemas. O termo Método de Monte Carlo foi cunhado por S. Ulam e Nicholas Metropolis, em referência aos jogos de azar, uma atração popular em Monte Carlo, Mônaco (Hoffman, 1998; Metropolis e Ulam, 1949).
Simulação computacional tem a ver com a utilizar modelos informáticos para imitar a vida real ou fazer previsões. Quando se cria um modelo com uma planilha de cálculo como o Excel, você tem um certo número de parâmetros de entrada e algumas equações que usam essas entradas para dar-lhe um conjunto de saídas (ou variáveis resposta). Este tipo de modelo é normalmente deterministas, o que significa que você obtem os mesmos resultados não importa quantas vezes você re-calcular.
[figura 1] - Um modelo paramétrico deterministas mapeia um conjunto de variáveis de entrada para um conjunto de parâmetros de saída.
Exemplo 1 um modelo determinista para juros compostos
Um exemplo de modelo determinista é um cálculo para determinar o retorno sobre o investimento de 5 anos com uma taxa de juro anual de 7%, composta mensalmente. O modelo é apenas a equação a seguir:
F = P(1+r/m)^ym
As entradas são o investimento inicial (P = US $ 1000), a taxa de juro anual (r = 7% = 0,07), a composição período (m = 12 meses), e do número de anos (Y = 5).
(simulação em javascrpt)
Um dos propósitos de um modelo como este é fazer previsões e tentar cenários "Oque Se?" . Você pode alterar as entradas e recalcular o modelo e você terá uma nova resposta. Talvez você ainda deseja plotar um gráfico do valor futuro (F) versus anos (Y). Em alguns casos, você pode ter uma taxa de juro fixa, mas o que você faz quando a taxa de juros é permitida a mudança? Por esta equação simples, você poderá ter o cuidado de saber apenas uma pior / melhor dos cenários, onde se calcular o valor futuro basear-se as mais baixas taxas de juro mais elevadas e que você poderia esperar.
[figura 1] - Um modelo paramétrico deterministas mapeia um conjunto de variáveis de entrada em um conjunto de variáveis de saída
Simulação Monte Carlo é um método para avaliar interativamente um modelo deterministico utilizando conjuntos de números aleatórios como entradas. Este método é muitas vezes usado quando o modelo é complexo, não linear, ou envolve mais do que apenas um grupo (couple) de parâmetros incertos. Uma simulação geralmente pode envolver mais de 10000 avaliações do modelo, uma tarefa que no passado era apenas práticos utilizando super computadores.
Exemplo 2 Um modelo estocástico de um conjunto de dobradiças
Um modelo estocástico é que envolve probabilidade ou aleatoriedade. Neste exemplo, temos um conjunto de 4 elementos que compõem uma dobradiça, com um pino ou parafuso através dos centros das partes. Olhando para a figura a seguir, se A + B + C é superior a D, vamos ter dificuldade de colocar estas coisas juntos.
[figura 1] - a dobradiça
Vamos dizer que temos um milhão de cada uma das diferentes partes, e nós precisamos seleccionar ao acaso as partes a fim de montar a dobradiça. Duas partes não vão ser exatamente do mesmo tamanho! Mas, se temos uma idéia da gama de tamanhos para cada lado, então nós podemos simular a seleção e montagem das peças matematicamente.
(continua)
[07/05/18]
Boa introdução sobre o métodode Monte Carlo
Estimando o valor de pi usando o método de Monte Carlo
sábado, 13 de setembro de 2008
Instalação Framework Disco
no final de semana passado foi instalado no laboratório C o Framework Disco que é uma implementação no estilo Map/Reduce do google sendo a diferença que o lado cliente é programado em python. Como a versão do linux era o Fedora 5 não funcionou - o pacote erlang e lighttpd foram compilados a partir dos fontes para garantir a versão. Nova tantativa hoje no labortório D com fedora 7, falta o tópico 4. Configure authentication em diante. Configurado a máquina D10 com master e D12 como slave a máquina D11 está com problema de atualização do no yum.
Assinar:
Postagens (Atom)