Skin Lesion Assessment based on Plenoptic Images for Melanoma Classification

Abstract

Over the years, image processing algorithms have achieved many advancements in the medical imaging area, namely in skin lesion detection and classification. Still, skin cancer has maintained its position at the top of the most common cancers all over the world. Early detection of suspicious pigmented skin lesions has a determinant role in clinical prognosis. Among them, melanoma, a malignant type of skin lesions, is the one that causes the most deaths.

Several research works have moved forward the methodology and tools employed by expert dermatology clinicians. Currently, most experts employ a dermatoscope in naked eye examination. However, in recent years, some public datasets of dermoscopy images have emerged, enabling researchers to develop, validate, and assess new computer-aided methods. Such methods include: pre-processing algorithms, aimed at removing artefacts and applying transformations necessary for the following algorithms; segmentation methods, that aim at identifying and separating healthy skin from the lesion region; and classification or recognition methods, which aim at detecting key lesion characteristics and even devise the lesion type. However, none of these methods provide sufficient robustness for widespread usage.

In the pursuit for further advancements in this field, this thesis addresses and improves current segmentation and classification algorithms, provides a new evaluation tool for dermatology experts and researchers (by introducing a light-field dataset of skin lesion images to the field), and proposes several approaches based on algorithms capable of differentiating melanoma from non-melanoma images using 2D and 3D features.

Tackling the challenges in the literature, this thesis first proposes two segmentation approaches, while also performing extensive comparisons with other works, across multiple datasets and performance metrics. From this endeavour, evidence that segmentation-detail can contribute for melanoma discrimination is presented.

Using the Light-field Image Dataset of Skin Lesions (SKINL2), with images collected at the Department of Dermatology of Centro Hospitalar de Leiria (Portugal), several methods are presented as the key contributions of this thesis. First, the acquired skin surface depth is explored, confirming that the use of depth data presents relevant information for melanoma classification (data not present in 2D colour images). Then, further steps are taken to exploit both colour and depth information under a joint process, whilst maintaining the capability of showing the depth contribution to the classification performance. In any of these steps, proposed approaches provide results superior the current state-of-the-art, when applied to the SKINL2 dataset.

Ao longo dos anos, a área de deteção e classificação de lesões cutâneas sofreu diversos avanços. Ainda assim, o cancro de pele manteve a sua posição como um dos mais comuns em todo o mundo. A deteção atempada de lesões cutâneas pigmentadas tem um papel determinante no prognóstico clínico. Dentre os tipos de lesão, o melanoma, um tipo maligno de lesões cutâneas, é o cancro de pele que causa mais mortes.

Diversos trabalhos impulsionaram as metodologias e ferramentas utilizadas por dermatologistas. Atualmente, os especialistas recorrem a um dermatoscópio para realizar o seu exame visual -- um instrumento portátil para rastreio de lesões da pele. Desta forma, nos últimos anos, algumas bases de dados de imagens dermatoscópicas públicas surgiram para permitir a pesquisa, validação e avaliação de novos métodos com recurso ao computador. Esses métodos variam entre: algoritmos de pré-processamento, que visam remover artefactos e aplicar as transformações necessárias aos métodos seguintes; métodos de segmentação, com o objetivo de identificar e separar a pele saudável da lesão de pele; e métodos de classificação ou reconhecimento, que visam detetar características da lesão ou definir o seu tipo. No entanto, nenhum deles confere robustez suficiente para que se possa assumir um uso generalizado.

Na busca de novos avanços, esta tese: aborda algoritmos de segmentação e classificação; fornece uma nova ferramenta para especialistas e pesquisadores de dermatologia (introduzindo uma base de dados de light-field da pele); e introduz abordagens experimentais através de algoritmos capazes de diferenciar melanomas de outras lesões, usando informações 2D e 3D.

Esta tese propõe duas abordagens de segmentação, acompanhadas de comparações extensas com outros trabalhos, usando várias bases de dados e métricas de desempenho. Desta~forma, mostra-se que contornos da segmentação podem contribuir para a discriminação do melanoma.

Utilizando a base de dados de imagens light-field de lesões cutâneas (SKINL2), cujas imagens foram adquiridas no Departamento de Dermatologia do Centro Hospitalar de Leiria, Portugal, vários métodos são apresentados -- compondo as principais contribuições desta tese. Em primeiro lugar, o relevo da pele adquirida é explorado, confirmando que o seu uso adiciona capacidades relevantes para a classificação do melanoma. Em seguida são tomadas medidas adicionais para unir as informações de cor e profundidade no mesmo processo de classificação, mantendo-se a capacidade do modelo mostrar a contribuição da profundidade para o processo. Em qualquer uma dessas medidas, as abordagens propostas fornecem resultados superiores aos do estado do conhecimento atual (quando aplicadas à base de dados SKINL2).