Seminario de Teoría de la Información, Machine
Learning y Estadística

Descripción. Este semestre el Seminario de Teoría de la Información, Machine Learning y Estadística
estará enfocado en los fundamentos del aprendizaje estadístico, la optimización vía sistemas dinámicos,
los procesos de difusión, y la estadística Bayesiana. Con este objetivo en mente, el seminario constará
de 4 mini-cursos básicos en dichos temas. Los mini-cursos están orientados a alumnos de posgrado e
investigadores trabajando en matemáticas aplicadas, probabilidad y estadística matemática.

Horario. El seminario será cada dos semana, los miércoles de 9am - 11am y los jueves de 10am - 12pm.

Plataforma. Las sesiones del seminario serán transmitidas utilizando la plataforma Zoom. Favor de
solicitar el enlace a Mario Diaz (mario.diaz@sigma.iimas.unam.mx).

Relación de Mini-Cursos

• Generalización en Machine Learning: Algunos Enfoques Clásicos y Contemporáneos
  Mario Diaz (IIMAS - UNAM), 11 & 12 de noviembre
  En este mini-curso introduciremos algunos elementos básicos de aprendizaje estadístico,
  con especial énfasis en el error de generalización y técnicas clásicas para estudiarlo.
  Terminaremos el mini-curso discutiendo algunas técnicas contemporáneas basadas en
  medidas de divergencia.


• Optimización vía Sistemas Dinámicos
  Alessandro Bravetti (IIMAS - UNAM), 25 & 26 de noviembre
  En este mini-curso vamos a presentar un enfoque relativamente nuevo hacia la optimiza-
  ción, inspirado en los sistemas dinámicos, la geometría y la analogía con los sistemas
  mecánicos disipativos.


• Procesos de Difusión
  Sandra Palau (IIMAS - UNAM), 9 & 10 de diciembre
  En este mini-curso daremos un breve repaso de movimiento browniano y lo utilizaremos
  para construir la integral estocástica. Utilizando la fórmula de Itô daremos una relación
  entre difusiones y ecuaciones diferenciales parciales.


• Aprendizaje Bayesiano
  Alan Riva-Palacio (IIMAS - UNAM), 13 & 14 de enero
  En este mini-curso daremos una breve introducción al aprendizaje o inferencia Bayesiana,
  incluyendo métodos Bayesianos no paramétricos. Discutiremos el estado del arte en méto-
  dos de simulación que ha ayudado a popularizar los métodos Bayesianos en los últimos a-
  ños y presentaremos métodos Bayesianos aproximados que son de ayuda cuando hay pro-
  blemas con el manejo analítico de un modelo probabilístico o cuando se requiere de una
  inferencia más veloz.

Bibliografía Relacionada

En esta sección recopilamos bibliografía relacionada con los mini-cursos.

Aprendizaje Estadístico y Generalización

• Understanding Machine Learning: From Theory to Algorithms. Shalev-Shwartz & Ben-David. [pdf]
• Generalization bounds of SGLD for non-convex learning: two theoretical viewpoints. Mou, Wang, Zhai & Zheng. [COLT]

Optimización vía Sistemas Dinámicos

• A differential equation for modeling Nesterov's accelerated gradient method: theory and insights. Su, Boyd & Candes. [arXiv]
• A variational perspective on accelerated methods in optimization. Wibisono, Wilson & Jordan. [PNAS]
• On symplectic optimization. Betancourt, Jordan & Wilson. [arXiv]
• Optimization algorithms inspired by the geometry of dissipative systems. Bravetti, Daza-Torres, Flores-Arguedas & Betancourt. [arXiv]
• On dissipative symplectic integration with applications to gradient-based optimization. França, Jordan & Vidal. [arXiv]

Procesos de Difusión

• Continuous Martingales and Brownian Motion. Revuz & Yor. [libro]
• Introduction to Stochastic Processes. Lawler. [pdf]
• Stochastic Processes and Models. Stirzaker. [libro]
• Brownian Motion and Classical Potential Theory. Port & Stone. [libro]

Aprendizaje Bayesiano

• The Bayesian Choice: From Decision-theoretic Foundations to Computational Implementation. Robert. [libro]
• Fundamentals of Nonparametric Bayesian Inference. Ghosal & Van der Vaart. [libro]
• Bayesian Data Analysis. Gelman, Carlin, Stern, Dunson, Vehtari, & Rubin. [pdf]

Última actualización: 11 de enero de 2021