陶哲轩:计算机通用方法,通常比深奥的纯数学更能解决问题。

2024-11-16

陶哲轩强调,在数学应用和问题解决中,我们需要找到一个合适的平衡点:不要简化太多,也不要复杂太多,不要过度优化,也不要过度抽象。



刚刚,著名数学家陶哲轩在个人社交平台上更新了几篇帖子,引起了大家的共鸣。


陶哲轩用通俗易懂的语言表达了他对数学的理解和思考。


这篇文章谈到了一个关于它的问题「度」陶哲轩表示,在设计系统时,缺乏或过度的数学分析可能会适得其反,所以要适度。


有时候,我们不需要太多复杂而深刻的专业知识,道法自然。


对大多数任务来说,使用一些比较简单但通用的数学方法,往往比专门设计的算法更有效。


陶哲轩还提到,在纯数学中,故意忽略一些看似很重要的直觉信息是很有帮助的。


下面是陶哲轩帖子的全部内容。


掌握一点数学知识可以大有裨益。由于缺乏足够的数学分析,系统设计不仅会受到限制,还会受到过度数学分析的阻碍。


一个常见的例子是密码在网络安全中的要求。数学上,密码要求越复杂(例如,规定最小长度、特殊符号或不重复使用密码),密码就越安全。


然而,如果要求太复杂,用户和服务提供商可能会寻找绕过复杂要求的方法,例如寻找简单的密码重置或恢复方法,或将密码存储在不安全的系统中。相反,这些做法可能会降低整个系统的安全性,而不是提高它们。


另一方面,仅仅提高单个指标(例如,用户直接使用密码登录系统)可能会损害更广泛的目标。就像古德哈特定律一样。(Goodhart's law)中所讲的,「任何观察到的统计恒性都倾向于在压力施加到其上进行控制时消退。」


粗略地说,在设计安全性时,直接输入方式的安全性应加强到与其它输入方式相同的安全性,但是超出这种程度的强化反而可能适得其反。


例如,如果一栋建筑的前门有锁,但窗户没有保护,那么在前门上增加更多的锁就没有意义了。这样做甚至可能导致一种危险的虚假安全感。另一方面,如果窗户比前门更难进入,那么至少在前门上增加一把锁是合理的。



加强鼻祖在人工智能领域的学习。 Rick Sutton 的「苦涩的教训」(Bitter Lesson)这个原则就是一个例子。


就直觉而言,人们常常认为量身定制算法是针对特定任务的最自然选择,在某些情况下,确实可以取得很好的效果。


其实,对大多数任务来说,使用一些相对简单但通用的数学方法,例如梯度下降和反向传播,通常比特殊设计的算法效果更明显。通用的方法不依赖于特定任务领域的知识,而是通过大量的数据和计算资源来训练模型,一般可以带来更大的进步。


最近,我看到有人为传感器网络开发更实惠的模数转换器。(ADC),正是这种发觉的证明。


传统上,ADC 根据经典的电气工程原理设计电路,选择常微分方程。(ODE)、共振、傅里叶转换等数学工具可以构建高效电路。但是,在一些特定的环境(如传感器网络)中,我们的目标是实现大规模、快速、低成本的AD转换,同时可以容忍一定的故障率。


训练神经网络在这种情况下进行设计。 ADC 电路,不依赖于任何专业知识(如傅里叶分析),反而是一种更好的方法。


并非说领域知识没有用处。 —— 例如,物理信息神经网络在许多物理领域的表现可以远远超过神经网络的标准 —— 关键在于知道在什么情况下,应该应用多少领域知识。



解决纯数学问题的有效方法之一是在直觉上故意忽略一些看似很重要的信息。。举例来说,在分析数论中,许多进展都是通过像素数来进行的。「重要」将数学对象转化为看起来更简单、结构更少的方法。这样做可以使我们更容易地找到解决问题的方法。


抽象也需要把握一个度。如果过度抽象,重要信息就会丢失,但问题无法解决;如果抽象得当,问题会变得更加清晰,然后找到合适的技巧来解决。在这个过程中,我们甚至可以做出一些看似不合理的改变,让解决问题的思路更加灵活。


有时候我开玩笑说,应用数学家只需要掌握每本纯数学研究生课本的前两章,后面的章节可能对他们帮助不大(甚至可能有负面影响)。


另外一方面,正是寻找第一个 3 到第 12 章节的过程,使前两章变得完美,具有显著的实用性。


看完陶哲轩的这一观点,有人评论说:这些建议很有价值,不管是什么问题,都要做到:


在看到更宏观的问题结构之前,简化细节。


决定是否有解决类似问题的办法。


或判断这类一般问题是否过于笼统,或过于具体。



参考链接:


https://mathstodon.xyz/@tao/113482950431855749


本文来自微信公众号“机器之心”,编辑:佳琪、陈陈、36氪经授权发布。


本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。

免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com