A disciplina consta da área de especialização do curso e o seu principal objetivo é fornecer competências na área de Computação de Alto Desempenho.

Computação de Alto Desempenho (CAD) é uma área do conhecimento que lida com a modelagem e a resolução computacionalde problemas que requerem muitos recursos computacionais. Historicamente, a área tem sido associada à computação científica e ao desenvolvimento de modelos e simulações de sistemas naturais, sendo estes executados em instalações dedicadas de computação. No entanto, com a atual disponibilidade de paralelismo real em hardware comum, desde dos computadores pessoais aos dispositivos móveis, a computação paralela está a tornar-se imprescindível sempre que se pretendecolher todo o poder computacional disponível nesse hardware. Além disso, a análise de grandes conjuntos de dados (Big Data analytics) é agora também um motor de desenvolvimento importante para a CAD. O processamento Big Data não está mais limitado a cálculos simples em grandes quantidades de dados. Muitas aplicações comerciais estão a aplicar algoritmos complexos sobre grandes quantidades de dados, com o objetivo de extrair conhecimento.

A disciplina CAD ensina aos alunos como resolver problemas complexos através do desenho e da implementação de algoritmos que serão executados em arquiteturas paralelas. Os alunos aprenderão conceitos e técnicas fundamentais que podem ser aplicados numa ampla gama de problemas e de arquiteturas de computadores. Ao mesmo tempo aprenderão técnicas para escrever algoritmos eficientes para tipos específicos de problemas e/ou de arquiteturas de computadores.

O curso tem uma grande ênfase na experimentação. Assim sendo, os alunos terão atividades de laboratório e projeto onde aplicarão os conceitos aprendidos. O foco estará na programação de sistemas de computaçãoheterogêneos (CPU(s) + GPU(s)), com CUDA, e no processamento de grandes quantidades de dados em sistemas de memória distribuída, com Spark.

Saber:

• Arquiteturas paralelas
• Paradigmas de programação paralela
• Metodologias gerais de desenho de algoritmos paralelos
• Estratégias algorítmicas específicas para diversos tipos de problemas
• Técnicas para otimizar o desempenho de algoritmos paralelos nas arquiteturas paralelas estudadas

Saber como:

• Otimizar o desempenho de um programa sequencial
• Implementar algoritmos paralelos para lidar com computações com grande complexidade e/ou que processam grandes quantidades de dados, executando em GPU(s) (com CUDA) e/ou em arquiteturas de memória distribuída (com Spark).
• Medir e analisar o desempenho de uma computação paralela.

Soft-skills.

• Raciocinar e avaliar criticamente as alternativas algorítmicas e tecnológicas disponíveis para resolver um problema.
• Desenhar uma solução para um problema antes de entrar na fase de implementação.
• Trabalho em equipa.
• Estruturar e escrever um relatório de projeto.

Motivação

• Porquê computação paralela?
• Porquê computação de alto desempenho?

Fundamentos de Computação Paralela

• Arquiteturas Paralelas
• Desempenho paralelo
• Paradigmas de Programação Paralela
• Desenho de Algoritmos Paralelos

Computação Paralela

• Padrões e estratégias para a programação paralela
• Processamento em memória partilhada
• Computação em GPUs
• Programação por troca de mensagens

Computação de alto desempenho centrada em dados

• MapReduce
• Apache Spark

Algoritmos Paralelos

• Algoritmos para processamento de gráficos
• Algoritmos de aprendizagem automática

O futuro da computação de alto desempenho

• Desafios na industria
• Tópicos de pesquisa em aberto

Como é prática nos cursos de CAD não há um livro da disciplina. Existem vários livros que cobrem os conceitos fundamentais de CAD. Segue uma lista:

• T Sterling, M Brodowicz, M Anderson. High Performance Computing - Modern Systems and Practices. Morgan Kaufmann, 2017.
• T Rauber and G Rünger. Parallel Programming for Multicore and Cluster Systems. Springer, 2013
• P Pacheco.An Introduction to Parallel Programming.Morgan Kaufmann,2011
• I Foster. Designing and Building Parallel Programs. Addison-Wesley, 1995,

Computação em GPUs:

• NVIDIA documentation
• J Sanders, Edward Kandrot, CUDA by Example: An Introduction to General-Purpose GPU Programming, Addison-Wesley, 2010

Processamento de grandes quantidades de ddos

• A Shook and D Miner. MapReduce Design Patterns. O’Reilly Media, 2012
• High Performance Spark. O’Reilly Media, 2017

Supõe-se que os estudantes conhecem conceitos básicos de arquitetura de computadores, redes de comunicação e sistemas de operação, e assume-se proficiência em programação (tem sido utilizadas a linguagem C/C++ e Java).