【阿里天池赛题】2021年赛道一：医学影像报告异常检测

心已赠人 2023-01-07 10:22 114阅读 0赞

[天池-全球人工智能技术创新大赛][-]

# 赛题背景 #

影像科医生在工作时会观察医学影像（如CT、核磁共振影像），并对其作出描述，这些描述中包含了大量医学信息，对医疗AI具有重要意义。本任务需要参赛队伍根据医生对CT的影像描述文本数据，判断身体若干目标区域是否有异常以及异常的类型。初赛阶段仅需判断各区域是否有异常，复赛阶段除了判断有异常的区域外，还需判断异常的类型。判断的结果按照指定评价指标进行评测和排名，得分最优者获胜。

# 赛题描述及数据说明 #

## sample数据 ##

医生对若干CT的影像描述的明文数据，及描述中有异常区域与异常类型的label。样本数量为10份，以便使参赛队伍对比赛数据有直观的了解（Sample数据只是为了增进参赛选手对医疗影像描述的直观了解，实际训练与测试数据不一定与Sample数据具有相同特征或分布）。

每份样本占一行，使用分隔符“|,|”分割为3列，为不带表头的CSV数据格式。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center]

需要预测的人体区域有17个，复赛中需要判断的异常类型有12种。由于数据安全需要，不会告知具体区域与类型的名称，只会以ID表示，区域ID为0到16，类型ID为0到11。每个影像描述中可能有零个、一个或多个区域存在异常；若此描述有异常区域，则可能包含一个或多个异常类型。

## Training数据 ##

脱敏后的影像描述与对应label。影像描述以字为单位脱敏，使用空格分割。初赛只进行各区域有无异常的判断，label只有异常区域ID。复赛除了判断各区域有无异常，还需要判断各区域异常的类型，因此label包含异常区域ID与异常类型ID。初赛Training集规模为10000例样本，复赛Training集规模为20000例样本。Training数据用于参赛选手的模型训练与预估。

*  初赛Training数据格式(不同列使用分隔符“|,|”分割）：

<table> 
 <thead> 
  <tr> 
   <th>列名</th> 
   <th>类型</th> 
   <th>示例</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>report_ID</td> 
   <td>int</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>description</td> 
   <td>脱敏后的影像描述，以字为单位使用空格分割</td> 
   <td>101 47 12 66 74 90 0 411 234 79 175</td> 
  </tr> 
  <tr> 
   <td>label</td> 
   <td>由多个异常区域ID组成，以空格分隔。若此描述中无异常区域，则为空</td> 
   <td>3 4</td> 
  </tr> 
 </tbody> 
</table>

*  复赛Training数据格式(不同列使用分隔符“|,|”分割）：

<table> 
 <thead> 
  <tr> 
   <th>列名</th> 
   <th>类型</th> 
   <th>示例</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>report_ID</td> 
   <td>int</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>description</td> 
   <td>脱敏后的影像描述，以字为单位使用空格分割</td> 
   <td>101 47 12 66 74 90 0 411 234 79 175</td> 
  </tr> 
  <tr> 
   <td>label</td> 
   <td>string，由两部分组成。第一部分为若干异常区域ID，用空格分割。第二部分为若干异常类型ID，用空格分割。两部分用逗号“,”分割。若定义中所有区域均无异常，则两部分均为空，此项为“,”。</td> 
   <td>3 4,0 2</td> 
  </tr> 
 </tbody> 
</table>

## Test数据 ##

脱敏后的影像描述，脱敏方法和Training相同。Test数据用于参赛选手的模型评估和排名。初赛Test集分为AB榜，规模均为3000。复赛Test集规模为5000。

Test数据格式(不同列使用分隔符“|,|”分割）：

# 提交说明 #

对于Test数据report\_ID,description，选手应提交report\_ID,prediction，其中prediction是预测结果。初赛中prediction是17维向量，值在0到1之间，表示各区域有异常的概率，使用空格分割。复赛中prediction是29维向量，值在0到1之间，前17个值表示17个区域有异常的概率，后12个值表示此描述包含各异常类型的概率。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 1]

# 评估标准 #

在Test数据上将对选手提交结果使用ROC曲线的AUC（Area Under Curve）作为评估标准。  
![在这里插入图片描述][20210117142150698.png_pic_center]  
下面以复赛分数为例，举例说明分数计算方法。为了便于说明，这里假设区域有3个而不是17个，异常类型有2个而不是12个。设真实值和选手提交的预测值分别如下：

<table> 
 <thead> 
  <tr> 
   <th>真实值Ground Truth</th> 
   <th>预测值Prediction</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>0 1 0 1 0</td> 
   <td>0 0.6 0.7 0.5 0</td> 
  </tr> 
  <tr> 
   <td>0 0 1 1 0</td> 
   <td>0 0.6 0.8 0.1 0.2</td> 
  </tr> 
 </tbody> 
</table>

则第一部分分数为对以下数据计算AUC：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 2]

# 比赛规则 #

1.  本项比赛全程不允许使用外部数据集。
2.  允许使用预训练模型，如网络模型与embedding等。
3.  复赛阶段可以使用初赛阶段的数据集。

[-]: https://tianchi.aliyun.com/competition/entrance/531852/information
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center]: /images/20221119/bf01aaeb38974b1787fd1000398ec9d4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221119/79957c9e1dc944348ebc0599071f80bb.png
[20210117142150698.png_pic_center]: https://img-blog.csdnimg.cn/20210117142150698.png#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 2]: https://img-blog.csdnimg.cn/20210117142424870.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng==,size_16,color_FFFFFF,t_70#pic_center