截至2026年10月，在皮肤癌诊断测试中，一个经过微调的老旧卷积神经网络（CNN）击败了当时最强大的两个AI大模型。测试显示，基于Inception v3架构的专用网络准确率为62%，而GPT-6 Astra和Claude Fable 5.1的准确率仅为42%。
测试设计与数据
本次测试使用国际皮肤成像协作组织于2025年发布的公开数据集MILK10k。研究者随机抽取了200个经组织病理学确认的病变案例，包括100个需警惕的恶性或癌前病变（如黑色素瘤、基底细胞癌等）和100个可安全解除警报的良性病变（如痣、脂溢性角化病）。
测试向模型仅提供临床照片和皮肤镜图像，要求其在六种诊断中给出首选、次选及置信度，并判断是否可安全解除警报。CNN模型基于ISIC Archive的68,011张图像在单个H100 GPU上微调约二十分钟，且测试集数据在训练前已被严格排除，确保无数据泄露。
诊断性能对比
在200个案例中，CNN正确识别125例（62%），GPT-6 Astra和Claude Fable 5.1分别仅正确识别84例和85例（42%）。若允许第二选择，CNN的正确率升至173例，优于两个大模型的134例和138例。
在具体病种上，CNN在良性病变识别上优势显著：它正确识别了50颗痣中的37颗和50例脂溢性角化病中的26例，而GPT-6 Astra分别仅识别16颗和13例。然而，在最关键的黑色素瘤识别上，CNN检出13例，略高于GPT-6 Astra的8例和Claude Fable 5.1的11例，但仍有漏诊情况。
错误模式方面，大模型表现出明显的偏好偏差：GPT-6 Astra倾向于将大量病变误诊为基底细胞癌，Claude Fable 5.1则倾向于日光性角化病。相比之下，CNN的错误分布更为均匀，但在部分黑色素瘤案例中误判为良性痣或脂溢性角化病。
局限性与风险提示
尽管CNN总体表现更佳，但其安全性高度依赖阈值设定。在预设阈值下，CNN可能错误解除18例黑色素瘤的警报；若调整阈值以匹配大模型的敏感度，其误报率可大幅降低，但具体表现需权衡。此外，所有测试病例均经活检，属于高难度案例，CNN在普通档案图像上的表现（AUC 0.96）优于本次测试（AUC 0.86）。
值得注意的是，MILK10k数据集自2025年起公开，大模型可能在训练阶段接触过这些数据，这对其有利；而CNN确认为未见数据。同时，Inception v3并非当前最先进技术，现代基于Transformer的多图像集成模型表现更优。
患者视角的差异
当模拟患者仅上传临床照片并询问“是否需要看医生”时，两个大模型在绝大多数情况下（包括无害病变）均建议就医，表现出极高的敏感性但缺乏特异性。
该测试由研究者设计，分析与初稿借助Anthropic的Claude Code完成。相关代码、数据及模型已开源，用户可通过WebGPU在本地浏览器中运行该CNN模型，无需上传数据。