Science子刊封面：500年前拉斐尔怎么画，AI看一眼就知道了。

AI的跨界，只是出乎意料，没有什么是不可能的。艺术家用深度学习模型分析拉斐尔的绘画，不仅可以分析他们使用了什么颜料和绘画方法，还可以知道拉斐尔本人是否在500年前拿着画笔。

DALL-E、MidJourney等工具的出现，让我们看到了高超的GenAI。「创作技能」。但是如果让AI反过来分析艺术大师的画作，他们会有什么样的表现呢？

近期，Science 意大利文化遗产科学研究所的一篇论文在Advances封面上发表。他们扫描了两幅著名的拉斐尔画，并使用深度学习模型进行了分析。

结果表明，AI不但反应迅速，而且给出的结果也相当准确，并且可以为我们提供全新的见解和视角。

给油画做CT，让AI看电影。

论文地址：https://www.science.org/doi/10.1126/sciadv.adp6234

近十年来，利用成像技术对绘画进行非侵入性研究，取得了长足的进步。

艺术家们不再仅仅依靠自己的眼睛或实验来分析绘画，而是采用类似MA的方法。-XRF(宏观X射线莹光)技术，应用于颜料识别、颜料分解、虚拟修复等。

但是，无论用途如何，每个显像都会产生大量的数据，处理数据也需要特定的专业知识。因此，为了有效利用这些复杂的数据，计算机辅助的程序分析和计算方法也得到了发展。

例如，MA-XRF扫描绘画表面后，可以获得含有大量数据的XRF光谱。扫描区通常包含数百万像素，这意味着数百万XRF光谱以3D正方体的形式导出。

在这个过程中，研究人员发现人工智能非常有用，不仅仅是数据处理和分析，更是人类学者和经典分析方法容易被忽视的新观点。

本文所采用的模型是基于CNN架构，同时参考XRF分析中常用的标准反卷积。（deconvolution）方法，以MA-XRF光谱为输入，预测屏幕上的元素分布，以及每一个元素的绝对记数，可对所用颜料进行分析。

训练数据集不仅包括实际MA-XRF扫描获得的数据，还包括50万个蒙特卡罗模拟生成的光谱，并使用生成数据进行练习。

MC模拟光谱生成过程如图1A所示，图1B描述了深度神经网络的整体结构，可分为卷积块和密集块。

原来的CNN假设图像的各个部分具有平移不变性，但很明显，MA-XRF光谱并非如此，每一个元素的位置都代表着能量的大小，这是预测的关键信息。

为去除原来CNN中的平移不变性，在训练卷积块时，首先要保持密集块参数的固定，在完成卷积块训练后才能启用。

图1 方法示意图（A）在MC模拟中使用的图像模型示意图，生成合成XRF光谱，用于训练网络。（B)神经系统的示意图分为两部分：卷积块和密集块

为进行试点测试，研究人员扫描了拉斐尔的两幅画，分别是《God the Father》（ 圣父上帝)和《Virgin Mary》(圣母玛利亚)。

1500年，「三杰文艺振兴」拉斐尔为教堂创作了一幅宏伟的祭坛画，但目前只有四个片段，其中两个就是其中之二，现在藏在意大利那不勒斯的卡波迪蒙特博物馆。

左下：《圣母玛利亚》右：《圣父上帝》

图3显示了圣母玛利亚人物的面部分析。从元素分布图像中可以推断出铅白应用于底层和高光。（PB-L），朱红色用于人物肤色与明暗对比。（Hg-L）。

窗帘上的绿色是铜绿色（Cu-K），而且人物的蓝色斗篷上也有铜元素，说明使用的颜料矿石是蓝铜矿，与天青石和铅白混合，可以从钾和铅的布局图中推断出来。

图3 PB依次从B到F-L、Hg-L、Au-L、Cu-K、Fe-K等元素投影图，左显示模型预测结果，右显示参考结果，

除了推断颜料成分，这项技术还可以帮助我们分析拉斐尔的绘画技巧，帮助我们看到这位大师在面部造型中采用了哪些微妙的技巧。

和上图一样，还是有很多铅白色的打底，用土黄色的赭石(含大量的铁)赋予面部三维和阴影，眼睛周围的红色朱砂(汞)和铜基颜料一起营造出微妙的肤色。

图4 D是从元素布局图中生成的RGB图像，其它图像分别是扫描区的原始图像和PB。-L、Hg-L、Pb-M、S-K等元素布局图

图5B可以让我们更仔细地看到拉斐尔如何用铅勾画建筑的细节。此外，铁和锌的显著线性关系(图5E)可以告诉我们，他使用的赭石含有大量的锌。

图5 MA-XRF元素布局图中建筑细节的高分辨率。

从图3-5元素布局图和图7的量化结果可以看出，模型预测结果与标准值的匹配程度很高，元素的净记数也是一样的。

另外，通过艺术家的分析，神经网络推断出的颜料调色板符合15世纪画家的实践方法，符合拉斐尔早期作品调色板的其他方法。

图7 对比元素布局图

这些发现代表了人工智能集成的关键进步。AI可以帮助对XRF光谱进行更准确、更高效的分析，进一步促进艺术领域各学科专家之间的合作。

这种方法的成功基于两个关键支柱。首先，我们已经知道X射线如何与物质相互作用，包括能量色散探测器的光谱响应；其次，先进的模拟软件可以生成与XRF仪器获得的非常相似的合成光谱。

AI 画作，发展「电脑辅助欣赏」

事实上，Science发表的这项研究并不是艺术家第一次与AI进行跨境营销。

去年十一月，《福布斯》杂志报道了一位英国专家的研究，同样是针对拉斐尔的。

这幅画是用深度学习算法分析的。《Madonna of the Rose》(玫瑰圣母)，发现其中男人的脸（Joseph）这不是拉斐尔自己画的。

更加巧合的是，这一结果与艺术家长期以来的怀疑不谋而合。

长期以来，学者们推断，除了拉斐尔，其他人都参与了这幅画，他们还注意到Joseph脸部的构图和描述水平不如画面中的其他人物。

《玫瑰圣母》

研究人员只用了49幅经过认证的拉斐尔画，培养了一个深度学习系统，通过画笔、调色板、阴影等4000多种视觉特征识别艺术家的作品，准确率高达98%。

Hassans论文作者 根据Ugail的说法，AI的准确性要比任何人在没有任何工具的情况下进行分类或识别要好得多。

算法对拉斐尔绘画的各个部分进行了分析，以确定艺术家自己画了什么。

不过，斯坦福大学的David，论文合作者。 G. Strok警告我们，目前仅仅依靠计算机结果来完成大多数艺术史领域的任务是不够的。

如果结合传统的欣赏方法和艺术史研究，计算机工具和AI技术将取得巨大成就。正确的算法和适当的AI模型将节省宝贵的时间和资源，帮助我们更好地挖掘艺术宝库。

参考资料

https://www.science.org/doi/10.1126/sciadv.adp6234

https://www.forbes.com/sites/lesliekatz/2023/12/22/ai-uncovers-hidden-secret-in-painting-by-renaissance-master-raphael/

本文来自微信微信官方账号“新智元”，作者：乔杨 ，36氪经授权发布。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com