谷歌最新开源软件库, 5 行代码构建无限宽度网络集成模型

  • A+
所属分类:技术资讯

技术编辑:卡尔博客养老院卡尔博客(Carl blog)中的王志志公开号码:卡尔博客
最近,Google以JAX编写的软件库Neural Tangents为开放源,这是高性能机器学习研究的系统,有助于同时构建多种宽度的AI模型。
最重要的是,它是一种集成模型,使数据科学家只需5元素代码就能一次性构建和教育无限大的网络。谷歌表示,这有助于对模特的行为“前所未有的洞察力和打开机器学习的黑盒”。
谷歌的高级研究科学家Samuel S. Schoenholz和研究工程师Roman Novak在一篇文章中解释,进行人工智能研究的一个关键洞察力是,增加模型的广度会使行为规则性更大,更容易理解。
重复实验后,所有神经网络模型包括在输入数据中传输信号,并缓慢调整每个连接的突触强度(权重)的互连级别排列的神经元(数学函数)。这是他们学习提取要素和进行预测的方法。
允许无限范围的机器学习模型倾向于收敛到另一种更简单的模型,即高斯过程。
在这个极限上,复杂的现象归结为简单的线性代数方程,可以作为研究人工智能的镜头。但是,推导无限宽极限的有限模型需要数学专业知识,对每个结构都要单独求。而且,如果推导出无限宽的模型,则需要在工程中熟练掌握才能想出高效、可扩展的实现,这可能需要几个月的时间。
这次,Google的开源软件库Neural Tangents大大减少了操作难度和时间,是一个集成模型,数据科学家只需5行代码就可以构建和训练无限宽的网络。而且,据谷歌的工作人员称,制作的模型基本上可以应用于任何常数模型问题。
研究人员写道:“我们看到模仿有限的神经网络、无限广域网的性能遵循相似的层,整个连接网络的性能比线路网络低,线路网络的性能比宽敞的残差网络低。”但是与传统的训练不同,这些模式的学习力学是完全可以牵引的封闭形式,从而使人们对自己的行为有了新的洞察力。”补充说
GitHub地址:https://github.com/google/neu.
Google Colaboratory注释:https://colab.research.google.

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: