Aprendizado Estatístico

Período Letivo: 2024/2 - Regular - Horas: 60

Horário para dúvidas: Quintas, das 17:00 às 18:00.

Mais informações no nosso Google Classroom.

Avaliação

Teremos uma avaliação composta por três componentes:

• Prova: Representará 40% da nota final.
• Apresentação de Trabalhos: Contribuirá com 50% da nota final.
• Participação em Aula: Contará para os 10% restantes da nota.

Ementa

• Introdução: (Cap. 1 de [1]) Apresentação do conceito de Aprendizado de Máquinas, incluindo os tipos de problemas que podem ser resolvidos, as técnicas clássicas utilizadas, os diferentes estágios de aprendizado e os cenários de aplicação. Enfoque na importância da generalização para garantir a robustez dos modelos.
• Aprendizado PAC: (Cap. 2 de [1]) Introdução ao framework Probably Approximately Correct (PAC), abordando questões sobre eficiência, dificuldade e quantidade de exemplos necessários para a aprendizagem.
• Concentração de Medida: (Cap. 2 de [3]) Introdução às desigualdades de concentração, incluindo as desigualdades de Hoeffding, Chernoff e Bernstein, e às distribuições sub-gaussianas e sub-exponenciais.
• Maldição da Dimensão e Dados em Dimensão Alta: (Cap. 3 de [3]) Estudo de fenômenos em distribuições de vetores aleatórios em espaços de alta dimensão, explorando os desafios e implicações da abundância de espaço em dimensões elevadas, conhecidos como a “maldição da dimensionalidade”.
• Complexidade de Rademacher e Dimensão VC: (Cap. 3 de [1]) Introdução à Complexidade de Rademacher e Dimensão VC, com foco em suas aplicações na análise de generalização e capacidade de modelos de aprendizado de máquina.
• Aplicações: (Cap. 5, 6 e 7 de [1] e [2]) Aplicação dos conceitos estudados nos modelos de SVM, métodos de Kernel e Boosting.

Notas de aula

• Introdução - Responsáveis pelas notas: Patrícia Garcia e Letícia Sartori
• Desigualdade de Hoeffding - Responsáveis pelas notas: Bruno Marcondes e Resende e Felipe Luis Giacomini
• Desigualdade de McDiarmid - Responsáveis pelas notas: Gabriela Ishida e Vagner Santos
  

Bibliografia sugerida

1. Foundations of Machine Learning - M. Mohri, A. Rostamizadeh, A. Talwalkar
2. The Elements of Statistical Learning - T. Hastie, R. Tibshirani, J. Friedman
3. High-Dimensional Probability - R. Vershynin