Avaliação de algoritmos de aprendizagem supervisionada

Complexidade computacional.

• Tanto na aprendizagem como na utilização.

Legibilidade – a representação do conhecimento aprendido deve ser tão legível quanto possível.

• Especialmente relevante em sistemas de apoio à decisão.

Precisão – o conhecimento aprendido deve ser tão preciso quanto possível.

• No caso de problemas de classificação, a precisão é avaliada experimentalmente como a percentagem de erros de classificação num conjunto de exemplos de teste (não usados na aprendizagem).

Avaliação experimental da precisão em aprendizagem supervisionada

Partição dos exemplos disponíveis em dois subconjuntos:

• Subconjunto de treino – exemplos usados para a aprendizagem (p. ex. 2/3 de todos os exemplos).

• Subconjunto de teste – exemplos usados na avaliação experimental da precisão (p. ex. 1/3).

Validação-cruzada-k

• Divide-se o conjunto de exemplos disponíveis em k subconjuntos.

• Para cada subconjunto Si, treinar usando todos os outros e testar em Si.

• A precisão é dada pela percentagem global de erros (após todas as iterações treino-teste).

Um-de-fora

• Equivale à validação-cruzada-k, para o caso em que k é o número total de exemplos disponíveis.