danigfavero / machine-learning

Trabalhos e notas de aula da disciplina MAC0460 - Introdução ao Aprendizado de Máquina, no primeiro semestre de 2021, no IME-USP.

MAC0460 - Introdução ao Aprendizado de Máquina

Oferecimento da disciplina no primeiro semestre de 2021, com a professora Nina S. T. Hirata, no Instituto de Matemática e Estatística da USP.

Notas de aula

As notas de aula pessoais da disciplina foram baseadas nos slides da disciplina e outros materiais disponíveis.

Exercícios programa

Os exercícios-programa foram feitos com Jupyter Notebook, utilizando a linguagem Python e diversas bibliotecas de machine learning.

EP1: The perceptron algorithm

The goal of this EP was to implement the perceptron algorithm. For simplicity, the implementation was for and tested it on datapoints in $\mathbb{R}^2$

EP2: Linear regression - analytic solution

Objectives:

• to implement and test the analytic solution for the linear regression task (see, for instance, Slides of Lecture 03 and Lecture 03 of Learning from Data)
• to understand the core idea (optimization of a loss or cost function) for parameter adjustment in machine learning

EP3: Logistic regression

Topics / concepts explored in this EP:

• Implementation of the logistic regression algorithm, using the gradient descent technique
• Application on binary classification of 2D examples (i.e., d=2)
• Confusion matrix, effects of unbalanced classes

EP4: Model selection

The aim of this EP is to

• Practice training of linear, neural networks, and SVMs classifiers using the scikit-learn library (https://scikit-learn.org/)
• Practice model evaluation, comparison and selection
• Produce a summary report on the performed experiments and main findings

O EP4 foi feito em conjunto com o colega Miguel Ostrowski.

Listas

Os enunciados das listas se encontram dentro de seus respectivos diretórios.

• Lista 1: questions regarding the perceptron algorithm, linear regression, logistic regression and other topics on machine learning general theory
• Lista 2: lista que cobre o conteúdo sobre a parte teórica de machine learning — VC analysis e Bias-variance analysis
• Lista 3: avaliação do grau de compreensão sobre alguns tópicos cobertos no decorrer da disciplina (PARTE I), além de uma auto-avaliação (PARTE 2)

Quick Tasks

Tarefas rápidas.

• QT5 (Quick Task 5): pequeno texto sobre regularização.