Mostrando postagens com marcador Estatística. Mostrar todas as postagens
Mostrando postagens com marcador Estatística. Mostrar todas as postagens

domingo, 27 de outubro de 2019

Relação entre Dados e Espaços de Muitas dimensões

Lendo o livro (Elementos-da-teoria-de-aprendizagem-de-maquina-supervisionada) do grupo de aprendizado de máquina de Florianópolis ministrada pelo russo, achei uma recomendação legal, Foundations of Data Science - Avrim Blum, John Hopcroft and Ravindran Kannan

Gostei da introdução, exemplo quando fala sobre Geometria de Alta dimensão:

... Modern data indiverse fields such as Information Processing, Search, Machine Learning, etc., is oftenrepresented advantageously as vectors with a large number of components. This is soeven in cases when the vector representation is not the natural first choice...

esta citação é da versão de 2016, achei melhor que a definição da versão 2019 do livro.
A introdução dos dois livros são muito boas.

Outro livro citado foi The Nature of Statistical Learning Theory de Vladimir Vapnik, li um pedaço da introdução, também muito interessante, ele faz um resgate sobre o problema  de aprendizagem e divide o tema em quatro períodos:
- O Perceptron de Rosenblatt (1960)
- Construção dos fundamentos da teoria do aprendizado (1960-70)
- Redes Neurais (1980)
- Retorno as origens (1990)

quarta-feira, 3 de abril de 2019

Pode ser útil

Pesquisar sobre Inferência em Amostras Pequenas
termos relacionados:
  • reamostragem
  • bootstrap
  • cross validation
  • Jackknife 

Exemplo
A Gentle Introduction to the Bootstrap Method
https://tinyurl.com/y8xpeh2y

quinta-feira, 5 de abril de 2018

Algumas anotações sobre análise de Séries Temporais

Análise de Séries Temporais

do artigo
A comprehensive beginner’s guide to create a Time Series Forecast
https://www.analyticsvidhya.com/blog/2016/02/time-series-forecasting-codes-python/|https://www.analyticsvidhya.com/blog/2016/02/time-series-forecasting-codes-python

Muitos modelos de análise partem do princípio que uma ST é estacionária

Como checar se uma ST é estacionária?
analisando suas propriedades estatísticas: se a média e a variância permanecem constantes no tempo
Idéia geral: se uma ST tem um comportamento particular no tempo, há uma alta probabilidade que ela seguirá a mesma no futuro.
Teste de estacionariedade:
- Plotar a série temporal e ver graficamente tendências e sazonalidades
- plotar a média móvel (ou variância móvel) e ver se varia ao longo do tempo, estes valores não tendem a aumentar em uma ST estacionária
- teste de Dickey-Fuller


Como tornar uma série estacionária?
uma vez que:
  • Tendência: variação da média no tempo (ex: em média o número x está crescendo no tempo..)
  • Sazonalidade: variações em frames de tempo específicos
o príncípio para tornar uma séries estacionária consiste em modelar ou estimar a tendência e sazonalidade na série e remove-los da série a fim de alcançar a estacionariedade. Assim técnicas de estatística de previsão podem ser implementadas nestas novas séries. O passo final é converter estas previsões para as escalas originais

Como estimar e eliminar trends?
com transformações, exemplo: log ou raiz quadrada
mas em presença de ruído talvez não seja tão intuitivo, então se usa outras técnicas uma delas é a tecnica de Alisamento (smoothing) da ST para isto toma-se a Média Móvel


do artigo
How to Use Power Transforms for Time Series Forecast Data with Python
https://machinelearningmastery.com/power-transform-time-series-forecast-data-python/|https://machinelearningmastery.com/power-transform-time-series-forecast-data-python
Square Root Transform
A time series that has a quadratic growth trend can be made linear by taking the square root

sendo a estrutura dos dados de natureza quadrática, com tendência ao crescimento neste caso, para fazer uma análise é importante que se tranforme esta ST em linear (onde a média e a variância não se alteram...) isto é feito com a operação inverça à operação quadrática que é a raiz quadrada.

o mesmo para transformação log, se os dados tem uma natureza exponencial ao longo do tempo, aplicando a invesa desta operação (log <=> exp) a série  torna-se linear

Log Transform
A class of more extreme trends are exponential, often graphed as a hockey stick.
Time series with an exponential distribution can be made linear by taking the logarithm of the values. This is called a log transform.

pergunta a exclarecer, por falta de tempo
a final porque tranformar uma ST para linear? Linearidade é sinônimo de estacionário? (onde média e variância são constantes)