Relação entre Dados e Espaços de Muitas dimensões

Lendo o livro (Elementos-da-teoria-de-aprendizagem-de-maquina-supervisionada) do grupo de aprendizado de máquina de Florianópolis ministrada pelo russo, achei uma recomendação legal, Foundations of Data Science - Avrim Blum, John Hopcroft and Ravindran Kannan

Gostei da introdução, exemplo quando fala sobre Geometria de Alta dimensão:

... Modern data indiverse fields such as Information Processing, Search, Machine Learning, etc., is oftenrepresented advantageously as vectors with a large number of components. This is soeven in cases when the vector representation is not the natural first choice...

esta citação é da versão de 2016, achei melhor que a definição da versão 2019 do livro.
A introdução dos dois livros são muito boas.

Outro livro citado foi The Nature of Statistical Learning Theory de Vladimir Vapnik, li um pedaço da introdução, também muito interessante, ele faz um resgate sobre o problema  de aprendizagem e divide o tema em quatro períodos:
- O Perceptron de Rosenblatt (1960)
- Construção dos fundamentos da teoria do aprendizado (1960-70)
- Redes Neurais (1980)
- Retorno as origens (1990)

Pode ser útil

Pesquisar sobre Inferência em Amostras Pequenas
termos relacionados:

• reamostragem
• bootstrap
• cross validation
• Jackknife 

Exemplo
A Gentle Introduction to the Bootstrap Method
https://tinyurl.com/y8xpeh2y

Cadeia de Markov explicação Interativa

Ótima expçicação do site Explained Visually

Markov Chains
http://setosa.io/ev/markov-chains/

Legal de ver também do mesmo site
Eigenvectors and Eigenvalues
Principal Component Analysis
Eigenvectors and Eigenvalues
Image Kernels (usado na extração de características em imagens)

[24.10.2121]

Deep Learning with Tensorflow 2.0

sobre Eigendecomposition - eigenvectors e eigenvalues.
assim como decompomos um número 12 como 2*2*3
pode-se decompor uma matriz em eigenvectors e eigenvalues.
Um eigenvector (autovetor) de uma matriz quadrada A é um vetor diferente de zero v tal que a multiplicação por A altera apenas a escala de v, em suma, este é um vetor especial que não muda a direção da matriz quando aplicado a ele:
    Av=λv
A escala (o escalar) λ é conhecida como o autovalor correspondente a este autovetor.

Determinante
O determinante de uma matriz quadrada, denotado det (A), é uma função que mapeia matrizes para escalares reais.
==>>> The determinant is equal to the product of all the eigenvalues of the matrix.

Algumas anotações sobre análise de Séries Temporais

Análise de Séries Temporais

do artigo
A comprehensive beginner’s guide to create a Time Series Forecast
https://www.analyticsvidhya.com/blog/2016/02/time-series-forecasting-codes-python/|https://www.analyticsvidhya.com/blog/2016/02/time-series-forecasting-codes-python

Muitos modelos de análise partem do princípio que uma ST é estacionária

Como checar se uma ST é estacionária?
analisando suas propriedades estatísticas: se a média e a variância permanecem constantes no tempo
Idéia geral: se uma ST tem um comportamento particular no tempo, há uma alta probabilidade que ela seguirá a mesma no futuro.
Teste de estacionariedade:
- Plotar a série temporal e ver graficamente tendências e sazonalidades
- plotar a média móvel (ou variância móvel) e ver se varia ao longo do tempo, estes valores não tendem a aumentar em uma ST estacionária
- teste de Dickey-Fuller


Como tornar uma série estacionária?
uma vez que:

• Tendência: variação da média no tempo (ex: em média o número x está crescendo no tempo..)
• Sazonalidade: variações em frames de tempo específicos

o príncípio para tornar uma séries estacionária consiste em modelar ou estimar a tendência e sazonalidade na série e remove-los da série a fim de alcançar a estacionariedade. Assim técnicas de estatística de previsão podem ser implementadas nestas novas séries. O passo final é converter estas previsões para as escalas originais

Como estimar e eliminar trends?
com transformações, exemplo: log ou raiz quadrada
mas em presença de ruído talvez não seja tão intuitivo, então se usa outras técnicas uma delas é a tecnica de Alisamento (smoothing) da ST para isto toma-se a Média Móvel


do artigo
How to Use Power Transforms for Time Series Forecast Data with Python
https://machinelearningmastery.com/power-transform-time-series-forecast-data-python/|https://machinelearningmastery.com/power-transform-time-series-forecast-data-python
Square Root Transform
A time series that has a quadratic growth trend can be made linear by taking the square root

sendo a estrutura dos dados de natureza quadrática, com tendência ao crescimento neste caso, para fazer uma análise é importante que se tranforme esta ST em linear (onde a média e a variância não se alteram...) isto é feito com a operação inverça à operação quadrática que é a raiz quadrada.

o mesmo para transformação log, se os dados tem uma natureza exponencial ao longo do tempo, aplicando a invesa desta operação (log <=> exp) a série  torna-se linear

Log Transform
A class of more extreme trends are exponential, often graphed as a hockey stick.
Time series with an exponential distribution can be made linear by taking the logarithm of the values. This is called a log transform.

pergunta a exclarecer, por falta de tempo
a final porque tranformar uma ST para linear? Linearidade é sinônimo de estacionário? (onde média e variância são constantes)

Plano de Estudo para se tornar um Cientista de Dados

Sugestão de um roteiro de estudo para se tornar um cientisa de dados, muito bom.

The most comprehensive Data Science learning plan for 2017

Beginner’s Path for 2017

• Step 1: Getting started and testing the waters
• Step 2: Mathematics & Statistics
  - Introdução à Estatística Descritiva
• Step 3: Introducing the tool – R / Python
• Step 4: Basic & Advanced machine learning tools
• Step 5: Building your profile
• Step 6: Applying for Jobs / Internships

Intermediate’s Path for 2017

• Step 1: Assessing your technical & Structured thinking skills
• Step 2: A few more ML algorithms
• Step 3: Pick up a data visualization tool
• Step 4: Big Data tools and techniques
• Step 5: Deep Learning Basic and Advanced
• Step 6: Reinforcement Learning
• Step 7: Web frameworks & Cloud Computing

Sugestão de Leituras
How to train your mind for analytical thinking?
Your Guide to Master Hypothesis Testing in Statistics
Useful tools to improve structured thinking
The 10 Statistical Techniques Data Scientists Need to Master