U-Net para Segmentação de Imagens de Tomografia Computadorizada (Coração, Pulmão e Traqueia)

OBS: Caso o Github não renderize o arquivo .ipynb use os links abaixo:

• Clique aqui!

Definição do Projeto

Neste Projeto vamos usar um modelo pré-treinado de arquitetura U-Net disponível com o framework PyTorch e construir uma solução de segmentação de imagens de tomografia
computadorizada para segmentar o coração, o pulmão e a traqueia. Ao final, vamos gerar as previsões em vídeo. Esse modelo de IA sendo capaz de realizar a segmentação pode ser usado como suporte clínico ao especialista médico a fim de detectar possíveis anomalias.

Base de Imagens

Para este projeto usaremos as imagens e máscaras disponíveis no link abaixo:

https://www.kaggle.com/sandorkonya/ct-lung-heart-trachea-segmentation

Este conjunto de dados foi modificado a partir do conjunto de dados de segmentação pulmonar por Kónya et al., 2020 no link:

https://www.kaggle.com/sandorkonya/ct-lung-heart-trachea-segmentation

Os arquivos nrrd originais foram salvos no formato de tensor único com máscaras correspondentes aos rótulos: (pulmões, coração, traqueia) como matrizes numpy usando pickle. Cada tensor tem a seguinte forma: número de fatias (slices), largura, altura e número de classes, onde largura, altura e número de fatias são parâmetros individuais de cada id de tensor e número de classes = 3.

Além disso, os dados foram salvos como imagens RGB, onde cada imagem corresponde a um ID de slice, e suas imagens-máscara possuem canais correspondentes a três classes: (pulmão, coração, traqueia).

Etapas do Projeto

• Carregando e Compreendendo os Dados
• Processo de Treinamento
• Funções Para os Cálculos das Métricas
• Função de Perda
• Métricas Por Classe
• Treinamento do Modelo
• Avaliação do Modelo
• Funções Para Geração de Vídeo
• Geração de Vídeo das Previsões do Modelo

Resultados

Resultados Visuais

Na imagem abaixo podemos ver os resultados visuais para a segmentação do pulmão em azul, coração em vermelho e traqueia em amarelo.