学习算法
955 浏览
超限学习机（Extreme Learning Machines）: 筑梦普适学习和普适智能
机械自动化类 岩石制动器 2016-09-02 11:02 发表了文章
随着近来一系列以谷歌DeepMind战胜围棋大师李世乭等为代表的科技发展，毫无疑问我们已经进入机器学习的时代。实际上，机器学习已经经历了预热阶段（1950年代到1970年代）和研究驱动阶段（1980年代到2010年）。现在，我们认为机器学习正在进入数据驱动时期（2010年后）。
一个真正的机器学习时代需要满足三个条件：强大的计算环境（包括分布式计算、强大的服务器和智能本地化移动设备），丰富的动态数据，和高效率的机器学习技术。
在过去的十几年时间里，我们的研究重点主要集中在利用跨学科知识研发高效率的机器学习技术及其理论上。具体来说，在最近几年我们的研究集中在以下四个方向：
新的神经网络学习理论
在过去几十年里，人工神经网络和支持向量机（Support Vector Machines (SVM)）在机器学习和数据分析领域扮演着重要的角色。深度神经网络在后期得到越来越多人的重视。然而，深度学习作为一种目前流行的机器学习技术，还面临着一些挑战，例如学习速度慢、需要大量的计算资源和人工干预等。
在过去几年我们试图研究和提出新一代的机器学习理论——超限学习机（Extreme Learning Machines (ELM)）。超限学习机理论指出面对众多的不同种类的节点（生物或非生物神经元）和不同的应用，一个基本的学习机制也许是神经元本身在学习中是不需要调整的，和应用是无关的。超限学习机的每个隐层节点也可以是由一个或多个神经元组成的子网络，由此提供一个统一的多层神经网络理论框架。
与过去60年来传统的学习理论不同，超限学习理论的一个重要性质是其普适学习能力（特征学习、聚类、回归、分类等）无需通过调整隐层节点来获得，例如隐层节点可以从前辈继承或随机生成。进一步来说，超限学习理论为传统神经网络提供了理论支持（包括局部感受域和池化策略），而这些理论正是深度学习的核心。
通用神经网络学习算法
基于超限学习机的机器学习算法对多种类型的神经网络都适用，例如小波网络和傅里叶级数在超限学习机理论框架下也可以被认为是神经网络的一种，只不过隐层节点是小波或傅里叶级数而已。相比深度学习和支持向量机等流行的机器学习技术，在许多应用中超限学习机可以做到上万倍的学习速度提升。因此，超限学习机可以做到“实时学习”，在稀疏的数据和大型应用中也可以取得优良的结果（图1）。
图1 - 超限学习机（ELM）的核心考虑
从理论和实际应用来看，超限学习机一般来说可以产生比支持向量机及其变体更好的学习泛化能力，尤其是在多类应用上。超限学习机也在很多应用中比深度学习效果更好。实际上，超限学习机已经在手写数字识别、交通标志识别、手势识别和立体图形识别等标准数据集和应用中创造了新的机器学习准确度记录。在许多应用中，超限学习机和深度学习可以有较强的互补性。
图2 - 超限学习机（ELM）的一些应用
ELM学习算法已经用在很多实际应用中，例如大数据分析、机器人、智能网格、健康产业、可穿戴设备、异常检测、地理科学和远程遥测。（图2）超限学习机也被用在我们的一些南洋理工大学同事们的研究中，例如基于超限学习机的短期可再生能源预报、基于超限学习机的面部表情识别和室内局部定位系统。
面向普适学习的超限学习机芯片
随着物联网的深入发展，在不远的未来，大部分的设备将拥有智能与学习能力。我们相信，就如包括人类在内的生物社会一样，这些智能设备也将发展出一个互相交流的“智能物社会”（Internet of Intelligent Things）（图3）。每个智能物都嵌入有学习功能并且能相互交流。
图3 - 智能物的发展三部曲
在这里，由于超限学习机的学习速度比深度学习快上万倍，它也许可以帮助实现智能物社会。超限学习芯片可以集成到硬件中，并实现实时本地在线学习，从而实现普适学习和普适智能。这几年，我们尤其强化关于超限学习机芯片的研究，主要集中在两个方面：多核加速芯片（由助理教授Yu Hao 领导现场可编程门阵列（FPGA）和专用集成电路（ASIC）），和神经形态芯片（由助理教授Arindam Basu领导）（图4）。
图4 - 基于ELM的智能芯片
衔接机器学习和生物学习
超限学习机理论的目标之一是打破机器学习和生物学习之间的壁垒。尽管动物的大脑在总体上来说是结构化及有序的，在其某些层或区域，其局部结构可看成“无序”的。由此我们提出一个问题：与传统机器学习不同，在生物大脑中是否所有隐层节点都需要调整？虽然人脑中也许有几百种不同种类的生物神经元，他们的数学模型也不为人类所知，但是超限学习机理论指出一个基本的生物学习机制也许是生物神经元本身在学习中是不需要调整的，和应用和数据是无关的。
超限学习机理论也许可以解释计算机之父John von Neumann早先的困惑问题，即一个包含很多随机连接的“不完美”生物神经网络，是如何可靠地实现可以和需要预先需要理想硬件连接的计算机可媲美的“完美”学习功能。
我们正在和神经科学家合作来研究生物学习的基本原理。生物学习系统包含着许多目前我们远未了解的基本学习原理。而我们对于机器学习和生物学习之间联系的好奇心，正是推动我们研究的动力所在。
来源：微信公众号 超限学习机 查看全部
一个真正的机器学习时代需要满足三个条件：强大的计算环境（包括分布式计算、强大的服务器和智能本地化移动设备），丰富的动态数据，和高效率的机器学习技术。
在过去的十几年时间里，我们的研究重点主要集中在利用跨学科知识研发高效率的机器学习技术及其理论上。具体来说，在最近几年我们的研究集中在以下四个方向：
新的神经网络学习理论
在过去几十年里，人工神经网络和支持向量机（Support Vector Machines (SVM)）在机器学习和数据分析领域扮演着重要的角色。深度神经网络在后期得到越来越多人的重视。然而，深度学习作为一种目前流行的机器学习技术，还面临着一些挑战，例如学习速度慢、需要大量的计算资源和人工干预等。
在过去几年我们试图研究和提出新一代的机器学习理论——超限学习机（Extreme Learning Machines (ELM)）。超限学习机理论指出面对众多的不同种类的节点（生物或非生物神经元）和不同的应用，一个基本的学习机制也许是神经元本身在学习中是不需要调整的，和应用是无关的。超限学习机的每个隐层节点也可以是由一个或多个神经元组成的子网络，由此提供一个统一的多层神经网络理论框架。
与过去60年来传统的学习理论不同，超限学习理论的一个重要性质是其普适学习能力（特征学习、聚类、回归、分类等）无需通过调整隐层节点来获得，例如隐层节点可以从前辈继承或随机生成。进一步来说，超限学习理论为传统神经网络提供了理论支持（包括局部感受域和池化策略），而这些理论正是深度学习的核心。
通用神经网络学习算法
基于超限学习机的机器学习算法对多种类型的神经网络都适用，例如小波网络和傅里叶级数在超限学习机理论框架下也可以被认为是神经网络的一种，只不过隐层节点是小波或傅里叶级数而已。相比深度学习和支持向量机等流行的机器学习技术，在许多应用中超限学习机可以做到上万倍的学习速度提升。因此，超限学习机可以做到“实时学习”，在稀疏的数据和大型应用中也可以取得优良的结果（图1）。
图1 - 超限学习机（ELM）的核心考虑
从理论和实际应用来看，超限学习机一般来说可以产生比支持向量机及其变体更好的学习泛化能力，尤其是在多类应用上。超限学习机也在很多应用中比深度学习效果更好。实际上，超限学习机已经在手写数字识别、交通标志识别、手势识别和立体图形识别等标准数据集和应用中创造了新的机器学习准确度记录。在许多应用中，超限学习机和深度学习可以有较强的互补性。
图2 - 超限学习机（ELM）的一些应用
ELM学习算法已经用在很多实际应用中，例如大数据分析、机器人、智能网格、健康产业、可穿戴设备、异常检测、地理科学和远程遥测。（图2）超限学习机也被用在我们的一些南洋理工大学同事们的研究中，例如基于超限学习机的短期可再生能源预报、基于超限学习机的面部表情识别和室内局部定位系统。
面向普适学习的超限学习机芯片
随着物联网的深入发展，在不远的未来，大部分的设备将拥有智能与学习能力。我们相信，就如包括人类在内的生物社会一样，这些智能设备也将发展出一个互相交流的“智能物社会”（Internet of Intelligent Things）（图3）。每个智能物都嵌入有学习功能并且能相互交流。
图3 - 智能物的发展三部曲
在这里，由于超限学习机的学习速度比深度学习快上万倍，它也许可以帮助实现智能物社会。超限学习芯片可以集成到硬件中，并实现实时本地在线学习，从而实现普适学习和普适智能。这几年，我们尤其强化关于超限学习机芯片的研究，主要集中在两个方面：多核加速芯片（由助理教授Yu Hao 领导现场可编程门阵列（FPGA）和专用集成电路（ASIC）），和神经形态芯片（由助理教授Arindam Basu领导）（图4）。
图4 - 基于ELM的智能芯片
衔接机器学习和生物学习
超限学习机理论的目标之一是打破机器学习和生物学习之间的壁垒。尽管动物的大脑在总体上来说是结构化及有序的，在其某些层或区域，其局部结构可看成“无序”的。由此我们提出一个问题：与传统机器学习不同，在生物大脑中是否所有隐层节点都需要调整？虽然人脑中也许有几百种不同种类的生物神经元，他们的数学模型也不为人类所知，但是超限学习机理论指出一个基本的生物学习机制也许是生物神经元本身在学习中是不需要调整的，和应用和数据是无关的。
超限学习机理论也许可以解释计算机之父John von Neumann早先的困惑问题，即一个包含很多随机连接的“不完美”生物神经网络，是如何可靠地实现可以和需要预先需要理想硬件连接的计算机可媲美的“完美”学习功能。
我们正在和神经科学家合作来研究生物学习的基本原理。生物学习系统包含着许多目前我们远未了解的基本学习原理。而我们对于机器学习和生物学习之间联系的好奇心，正是推动我们研究的动力所在。
来源：微信公众号 超限学习机 查看全部
随着近来一系列以谷歌DeepMind战胜围棋大师李世乭等为代表的科技发展，毫无疑问我们已经进入机器学习的时代。实际上，机器学习已经经历了预热阶段（1950年代到1970年代）和研究驱动阶段（1980年代到2010年）。现在，我们认为机器学习正在进入数据驱动时期（2010年后）。
一个真正的机器学习时代需要满足三个条件：强大的计算环境（包括分布式计算、强大的服务器和智能本地化移动设备），丰富的动态数据，和高效率的机器学习技术。
在过去的十几年时间里，我们的研究重点主要集中在利用跨学科知识研发高效率的机器学习技术及其理论上。具体来说，在最近几年我们的研究集中在以下四个方向：
新的神经网络学习理论
在过去几十年里，人工神经网络和支持向量机（Support Vector Machines (SVM)）在机器学习和数据分析领域扮演着重要的角色。深度神经网络在后期得到越来越多人的重视。然而，深度学习作为一种目前流行的机器学习技术，还面临着一些挑战，例如学习速度慢、需要大量的计算资源和人工干预等。
在过去几年我们试图研究和提出新一代的机器学习理论——超限学习机（Extreme Learning Machines (ELM)）。超限学习机理论指出面对众多的不同种类的节点（生物或非生物神经元）和不同的应用，一个基本的学习机制也许是神经元本身在学习中是不需要调整的，和应用是无关的。超限学习机的每个隐层节点也可以是由一个或多个神经元组成的子网络，由此提供一个统一的多层神经网络理论框架。
与过去60年来传统的学习理论不同，超限学习理论的一个重要性质是其普适学习能力（特征学习、聚类、回归、分类等）无需通过调整隐层节点来获得，例如隐层节点可以从前辈继承或随机生成。进一步来说，超限学习理论为传统神经网络提供了理论支持（包括局部感受域和池化策略），而这些理论正是深度学习的核心。
通用神经网络学习算法
基于超限学习机的机器学习算法对多种类型的神经网络都适用，例如小波网络和傅里叶级数在超限学习机理论框架下也可以被认为是神经网络的一种，只不过隐层节点是小波或傅里叶级数而已。相比深度学习和支持向量机等流行的机器学习技术，在许多应用中超限学习机可以做到上万倍的学习速度提升。因此，超限学习机可以做到“实时学习”，在稀疏的数据和大型应用中也可以取得优良的结果（图1）。
图1 - 超限学习机（ELM）的核心考虑
从理论和实际应用来看，超限学习机一般来说可以产生比支持向量机及其变体更好的学习泛化能力，尤其是在多类应用上。超限学习机也在很多应用中比深度学习效果更好。实际上，超限学习机已经在手写数字识别、交通标志识别、手势识别和立体图形识别等标准数据集和应用中创造了新的机器学习准确度记录。在许多应用中，超限学习机和深度学习可以有较强的互补性。
图2 - 超限学习机（ELM）的一些应用
ELM学习算法已经用在很多实际应用中，例如大数据分析、机器人、智能网格、健康产业、可穿戴设备、异常检测、地理科学和远程遥测。（图2）超限学习机也被用在我们的一些南洋理工大学同事们的研究中，例如基于超限学习机的短期可再生能源预报、基于超限学习机的面部表情识别和室内局部定位系统。
面向普适学习的超限学习机芯片
随着物联网的深入发展，在不远的未来，大部分的设备将拥有智能与学习能力。我们相信，就如包括人类在内的生物社会一样，这些智能设备也将发展出一个互相交流的“智能物社会”（Internet of Intelligent Things）（图3）。每个智能物都嵌入有学习功能并且能相互交流。
图3 - 智能物的发展三部曲
在这里，由于超限学习机的学习速度比深度学习快上万倍，它也许可以帮助实现智能物社会。超限学习芯片可以集成到硬件中，并实现实时本地在线学习，从而实现普适学习和普适智能。这几年，我们尤其强化关于超限学习机芯片的研究，主要集中在两个方面：多核加速芯片（由助理教授Yu Hao 领导现场可编程门阵列（FPGA）和专用集成电路（ASIC）），和神经形态芯片（由助理教授Arindam Basu领导）（图4）。
图4 - 基于ELM的智能芯片
衔接机器学习和生物学习
超限学习机理论的目标之一是打破机器学习和生物学习之间的壁垒。尽管动物的大脑在总体上来说是结构化及有序的，在其某些层或区域，其局部结构可看成“无序”的。由此我们提出一个问题：与传统机器学习不同，在生物大脑中是否所有隐层节点都需要调整？虽然人脑中也许有几百种不同种类的生物神经元，他们的数学模型也不为人类所知，但是超限学习机理论指出一个基本的生物学习机制也许是生物神经元本身在学习中是不需要调整的，和应用和数据是无关的。
超限学习机理论也许可以解释计算机之父John von Neumann早先的困惑问题，即一个包含很多随机连接的“不完美”生物神经网络，是如何可靠地实现可以和需要预先需要理想硬件连接的计算机可媲美的“完美”学习功能。
我们正在和神经科学家合作来研究生物学习的基本原理。生物学习系统包含着许多目前我们远未了解的基本学习原理。而我们对于机器学习和生物学习之间联系的好奇心，正是推动我们研究的动力所在。
来源：微信公众号 超限学习机
一个真正的机器学习时代需要满足三个条件：强大的计算环境（包括分布式计算、强大的服务器和智能本地化移动设备），丰富的动态数据，和高效率的机器学习技术。
在过去的十几年时间里，我们的研究重点主要集中在利用跨学科知识研发高效率的机器学习技术及其理论上。具体来说，在最近几年我们的研究集中在以下四个方向：
新的神经网络学习理论
在过去几十年里，人工神经网络和支持向量机（Support Vector Machines (SVM)）在机器学习和数据分析领域扮演着重要的角色。深度神经网络在后期得到越来越多人的重视。然而，深度学习作为一种目前流行的机器学习技术，还面临着一些挑战，例如学习速度慢、需要大量的计算资源和人工干预等。
在过去几年我们试图研究和提出新一代的机器学习理论——超限学习机（Extreme Learning Machines (ELM)）。超限学习机理论指出面对众多的不同种类的节点（生物或非生物神经元）和不同的应用，一个基本的学习机制也许是神经元本身在学习中是不需要调整的，和应用是无关的。超限学习机的每个隐层节点也可以是由一个或多个神经元组成的子网络，由此提供一个统一的多层神经网络理论框架。
与过去60年来传统的学习理论不同，超限学习理论的一个重要性质是其普适学习能力（特征学习、聚类、回归、分类等）无需通过调整隐层节点来获得，例如隐层节点可以从前辈继承或随机生成。进一步来说，超限学习理论为传统神经网络提供了理论支持（包括局部感受域和池化策略），而这些理论正是深度学习的核心。
通用神经网络学习算法
基于超限学习机的机器学习算法对多种类型的神经网络都适用，例如小波网络和傅里叶级数在超限学习机理论框架下也可以被认为是神经网络的一种，只不过隐层节点是小波或傅里叶级数而已。相比深度学习和支持向量机等流行的机器学习技术，在许多应用中超限学习机可以做到上万倍的学习速度提升。因此，超限学习机可以做到“实时学习”，在稀疏的数据和大型应用中也可以取得优良的结果（图1）。
图1 - 超限学习机（ELM）的核心考虑
从理论和实际应用来看，超限学习机一般来说可以产生比支持向量机及其变体更好的学习泛化能力，尤其是在多类应用上。超限学习机也在很多应用中比深度学习效果更好。实际上，超限学习机已经在手写数字识别、交通标志识别、手势识别和立体图形识别等标准数据集和应用中创造了新的机器学习准确度记录。在许多应用中，超限学习机和深度学习可以有较强的互补性。
图2 - 超限学习机（ELM）的一些应用
ELM学习算法已经用在很多实际应用中，例如大数据分析、机器人、智能网格、健康产业、可穿戴设备、异常检测、地理科学和远程遥测。（图2）超限学习机也被用在我们的一些南洋理工大学同事们的研究中，例如基于超限学习机的短期可再生能源预报、基于超限学习机的面部表情识别和室内局部定位系统。
面向普适学习的超限学习机芯片
随着物联网的深入发展，在不远的未来，大部分的设备将拥有智能与学习能力。我们相信，就如包括人类在内的生物社会一样，这些智能设备也将发展出一个互相交流的“智能物社会”（Internet of Intelligent Things）（图3）。每个智能物都嵌入有学习功能并且能相互交流。
图3 - 智能物的发展三部曲
在这里，由于超限学习机的学习速度比深度学习快上万倍，它也许可以帮助实现智能物社会。超限学习芯片可以集成到硬件中，并实现实时本地在线学习，从而实现普适学习和普适智能。这几年，我们尤其强化关于超限学习机芯片的研究，主要集中在两个方面：多核加速芯片（由助理教授Yu Hao 领导现场可编程门阵列（FPGA）和专用集成电路（ASIC）），和神经形态芯片（由助理教授Arindam Basu领导）（图4）。
图4 - 基于ELM的智能芯片
衔接机器学习和生物学习
超限学习机理论的目标之一是打破机器学习和生物学习之间的壁垒。尽管动物的大脑在总体上来说是结构化及有序的，在其某些层或区域，其局部结构可看成“无序”的。由此我们提出一个问题：与传统机器学习不同，在生物大脑中是否所有隐层节点都需要调整？虽然人脑中也许有几百种不同种类的生物神经元，他们的数学模型也不为人类所知，但是超限学习机理论指出一个基本的生物学习机制也许是生物神经元本身在学习中是不需要调整的，和应用和数据是无关的。
超限学习机理论也许可以解释计算机之父John von Neumann早先的困惑问题，即一个包含很多随机连接的“不完美”生物神经网络，是如何可靠地实现可以和需要预先需要理想硬件连接的计算机可媲美的“完美”学习功能。
我们正在和神经科学家合作来研究生物学习的基本原理。生物学习系统包含着许多目前我们远未了解的基本学习原理。而我们对于机器学习和生物学习之间联系的好奇心，正是推动我们研究的动力所在。
来源：微信公众号 超限学习机
955 浏览
超限学习机（Extreme Learning Machines）: 筑梦普适学习和普适智能
机械自动化类 岩石制动器 2016-09-02 11:02 发表了文章
随着近来一系列以谷歌DeepMind战胜围棋大师李世乭等为代表的科技发展，毫无疑问我们已经进入机器学习的时代。实际上，机器学习已经经历了预热阶段（1950年代到1970年代）和研究驱动阶段（1980年代到2010年）。现在，我们认为机器学习正在进入数据驱动时期（2010年后）。
一个真正的机器学习时代需要满足三个条件：强大的计算环境（包括分布式计算、强大的服务器和智能本地化移动设备），丰富的动态数据，和高效率的机器学习技术。
在过去的十几年时间里，我们的研究重点主要集中在利用跨学科知识研发高效率的机器学习技术及其理论上。具体来说，在最近几年我们的研究集中在以下四个方向：
新的神经网络学习理论
在过去几十年里，人工神经网络和支持向量机（Support Vector Machines (SVM)）在机器学习和数据分析领域扮演着重要的角色。深度神经网络在后期得到越来越多人的重视。然而，深度学习作为一种目前流行的机器学习技术，还面临着一些挑战，例如学习速度慢、需要大量的计算资源和人工干预等。
在过去几年我们试图研究和提出新一代的机器学习理论——超限学习机（Extreme Learning Machines (ELM)）。超限学习机理论指出面对众多的不同种类的节点（生物或非生物神经元）和不同的应用，一个基本的学习机制也许是神经元本身在学习中是不需要调整的，和应用是无关的。超限学习机的每个隐层节点也可以是由一个或多个神经元组成的子网络，由此提供一个统一的多层神经网络理论框架。
与过去60年来传统的学习理论不同，超限学习理论的一个重要性质是其普适学习能力（特征学习、聚类、回归、分类等）无需通过调整隐层节点来获得，例如隐层节点可以从前辈继承或随机生成。进一步来说，超限学习理论为传统神经网络提供了理论支持（包括局部感受域和池化策略），而这些理论正是深度学习的核心。
通用神经网络学习算法
基于超限学习机的机器学习算法对多种类型的神经网络都适用，例如小波网络和傅里叶级数在超限学习机理论框架下也可以被认为是神经网络的一种，只不过隐层节点是小波或傅里叶级数而已。相比深度学习和支持向量机等流行的机器学习技术，在许多应用中超限学习机可以做到上万倍的学习速度提升。因此，超限学习机可以做到“实时学习”，在稀疏的数据和大型应用中也可以取得优良的结果（图1）。
图1 - 超限学习机（ELM）的核心考虑
从理论和实际应用来看，超限学习机一般来说可以产生比支持向量机及其变体更好的学习泛化能力，尤其是在多类应用上。超限学习机也在很多应用中比深度学习效果更好。实际上，超限学习机已经在手写数字识别、交通标志识别、手势识别和立体图形识别等标准数据集和应用中创造了新的机器学习准确度记录。在许多应用中，超限学习机和深度学习可以有较强的互补性。
图2 - 超限学习机（ELM）的一些应用
ELM学习算法已经用在很多实际应用中，例如大数据分析、机器人、智能网格、健康产业、可穿戴设备、异常检测、地理科学和远程遥测。（图2）超限学习机也被用在我们的一些南洋理工大学同事们的研究中，例如基于超限学习机的短期可再生能源预报、基于超限学习机的面部表情识别和室内局部定位系统。
面向普适学习的超限学习机芯片
随着物联网的深入发展，在不远的未来，大部分的设备将拥有智能与学习能力。我们相信，就如包括人类在内的生物社会一样，这些智能设备也将发展出一个互相交流的“智能物社会”（Internet of Intelligent Things）（图3）。每个智能物都嵌入有学习功能并且能相互交流。
图3 - 智能物的发展三部曲
在这里，由于超限学习机的学习速度比深度学习快上万倍，它也许可以帮助实现智能物社会。超限学习芯片可以集成到硬件中，并实现实时本地在线学习，从而实现普适学习和普适智能。这几年，我们尤其强化关于超限学习机芯片的研究，主要集中在两个方面：多核加速芯片（由助理教授Yu Hao 领导现场可编程门阵列（FPGA）和专用集成电路（ASIC）），和神经形态芯片（由助理教授Arindam Basu领导）（图4）。
图4 - 基于ELM的智能芯片
衔接机器学习和生物学习
超限学习机理论的目标之一是打破机器学习和生物学习之间的壁垒。尽管动物的大脑在总体上来说是结构化及有序的，在其某些层或区域，其局部结构可看成“无序”的。由此我们提出一个问题：与传统机器学习不同，在生物大脑中是否所有隐层节点都需要调整？虽然人脑中也许有几百种不同种类的生物神经元，他们的数学模型也不为人类所知，但是超限学习机理论指出一个基本的生物学习机制也许是生物神经元本身在学习中是不需要调整的，和应用和数据是无关的。
超限学习机理论也许可以解释计算机之父John von Neumann早先的困惑问题，即一个包含很多随机连接的“不完美”生物神经网络，是如何可靠地实现可以和需要预先需要理想硬件连接的计算机可媲美的“完美”学习功能。
我们正在和神经科学家合作来研究生物学习的基本原理。生物学习系统包含着许多目前我们远未了解的基本学习原理。而我们对于机器学习和生物学习之间联系的好奇心，正是推动我们研究的动力所在。
来源：微信公众号 超限学习机 查看全部
一个真正的机器学习时代需要满足三个条件：强大的计算环境（包括分布式计算、强大的服务器和智能本地化移动设备），丰富的动态数据，和高效率的机器学习技术。
在过去的十几年时间里，我们的研究重点主要集中在利用跨学科知识研发高效率的机器学习技术及其理论上。具体来说，在最近几年我们的研究集中在以下四个方向：
新的神经网络学习理论
在过去几十年里，人工神经网络和支持向量机（Support Vector Machines (SVM)）在机器学习和数据分析领域扮演着重要的角色。深度神经网络在后期得到越来越多人的重视。然而，深度学习作为一种目前流行的机器学习技术，还面临着一些挑战，例如学习速度慢、需要大量的计算资源和人工干预等。
在过去几年我们试图研究和提出新一代的机器学习理论——超限学习机（Extreme Learning Machines (ELM)）。超限学习机理论指出面对众多的不同种类的节点（生物或非生物神经元）和不同的应用，一个基本的学习机制也许是神经元本身在学习中是不需要调整的，和应用是无关的。超限学习机的每个隐层节点也可以是由一个或多个神经元组成的子网络，由此提供一个统一的多层神经网络理论框架。
与过去60年来传统的学习理论不同，超限学习理论的一个重要性质是其普适学习能力（特征学习、聚类、回归、分类等）无需通过调整隐层节点来获得，例如隐层节点可以从前辈继承或随机生成。进一步来说，超限学习理论为传统神经网络提供了理论支持（包括局部感受域和池化策略），而这些理论正是深度学习的核心。
通用神经网络学习算法
基于超限学习机的机器学习算法对多种类型的神经网络都适用，例如小波网络和傅里叶级数在超限学习机理论框架下也可以被认为是神经网络的一种，只不过隐层节点是小波或傅里叶级数而已。相比深度学习和支持向量机等流行的机器学习技术，在许多应用中超限学习机可以做到上万倍的学习速度提升。因此，超限学习机可以做到“实时学习”，在稀疏的数据和大型应用中也可以取得优良的结果（图1）。
图1 - 超限学习机（ELM）的核心考虑
从理论和实际应用来看，超限学习机一般来说可以产生比支持向量机及其变体更好的学习泛化能力，尤其是在多类应用上。超限学习机也在很多应用中比深度学习效果更好。实际上，超限学习机已经在手写数字识别、交通标志识别、手势识别和立体图形识别等标准数据集和应用中创造了新的机器学习准确度记录。在许多应用中，超限学习机和深度学习可以有较强的互补性。
图2 - 超限学习机（ELM）的一些应用
ELM学习算法已经用在很多实际应用中，例如大数据分析、机器人、智能网格、健康产业、可穿戴设备、异常检测、地理科学和远程遥测。（图2）超限学习机也被用在我们的一些南洋理工大学同事们的研究中，例如基于超限学习机的短期可再生能源预报、基于超限学习机的面部表情识别和室内局部定位系统。
面向普适学习的超限学习机芯片
随着物联网的深入发展，在不远的未来，大部分的设备将拥有智能与学习能力。我们相信，就如包括人类在内的生物社会一样，这些智能设备也将发展出一个互相交流的“智能物社会”（Internet of Intelligent Things）（图3）。每个智能物都嵌入有学习功能并且能相互交流。
图3 - 智能物的发展三部曲
在这里，由于超限学习机的学习速度比深度学习快上万倍，它也许可以帮助实现智能物社会。超限学习芯片可以集成到硬件中，并实现实时本地在线学习，从而实现普适学习和普适智能。这几年，我们尤其强化关于超限学习机芯片的研究，主要集中在两个方面：多核加速芯片（由助理教授Yu Hao 领导现场可编程门阵列（FPGA）和专用集成电路（ASIC）），和神经形态芯片（由助理教授Arindam Basu领导）（图4）。
图4 - 基于ELM的智能芯片
衔接机器学习和生物学习
超限学习机理论的目标之一是打破机器学习和生物学习之间的壁垒。尽管动物的大脑在总体上来说是结构化及有序的，在其某些层或区域，其局部结构可看成“无序”的。由此我们提出一个问题：与传统机器学习不同，在生物大脑中是否所有隐层节点都需要调整？虽然人脑中也许有几百种不同种类的生物神经元，他们的数学模型也不为人类所知，但是超限学习机理论指出一个基本的生物学习机制也许是生物神经元本身在学习中是不需要调整的，和应用和数据是无关的。
超限学习机理论也许可以解释计算机之父John von Neumann早先的困惑问题，即一个包含很多随机连接的“不完美”生物神经网络，是如何可靠地实现可以和需要预先需要理想硬件连接的计算机可媲美的“完美”学习功能。
我们正在和神经科学家合作来研究生物学习的基本原理。生物学习系统包含着许多目前我们远未了解的基本学习原理。而我们对于机器学习和生物学习之间联系的好奇心，正是推动我们研究的动力所在。
来源：微信公众号 超限学习机 查看全部
随着近来一系列以谷歌DeepMind战胜围棋大师李世乭等为代表的科技发展，毫无疑问我们已经进入机器学习的时代。实际上，机器学习已经经历了预热阶段（1950年代到1970年代）和研究驱动阶段（1980年代到2010年）。现在，我们认为机器学习正在进入数据驱动时期（2010年后）。
一个真正的机器学习时代需要满足三个条件：强大的计算环境（包括分布式计算、强大的服务器和智能本地化移动设备），丰富的动态数据，和高效率的机器学习技术。
在过去的十几年时间里，我们的研究重点主要集中在利用跨学科知识研发高效率的机器学习技术及其理论上。具体来说，在最近几年我们的研究集中在以下四个方向：
新的神经网络学习理论
在过去几十年里，人工神经网络和支持向量机（Support Vector Machines (SVM)）在机器学习和数据分析领域扮演着重要的角色。深度神经网络在后期得到越来越多人的重视。然而，深度学习作为一种目前流行的机器学习技术，还面临着一些挑战，例如学习速度慢、需要大量的计算资源和人工干预等。
在过去几年我们试图研究和提出新一代的机器学习理论——超限学习机（Extreme Learning Machines (ELM)）。超限学习机理论指出面对众多的不同种类的节点（生物或非生物神经元）和不同的应用，一个基本的学习机制也许是神经元本身在学习中是不需要调整的，和应用是无关的。超限学习机的每个隐层节点也可以是由一个或多个神经元组成的子网络，由此提供一个统一的多层神经网络理论框架。
与过去60年来传统的学习理论不同，超限学习理论的一个重要性质是其普适学习能力（特征学习、聚类、回归、分类等）无需通过调整隐层节点来获得，例如隐层节点可以从前辈继承或随机生成。进一步来说，超限学习理论为传统神经网络提供了理论支持（包括局部感受域和池化策略），而这些理论正是深度学习的核心。
通用神经网络学习算法
基于超限学习机的机器学习算法对多种类型的神经网络都适用，例如小波网络和傅里叶级数在超限学习机理论框架下也可以被认为是神经网络的一种，只不过隐层节点是小波或傅里叶级数而已。相比深度学习和支持向量机等流行的机器学习技术，在许多应用中超限学习机可以做到上万倍的学习速度提升。因此，超限学习机可以做到“实时学习”，在稀疏的数据和大型应用中也可以取得优良的结果（图1）。
图1 - 超限学习机（ELM）的核心考虑
从理论和实际应用来看，超限学习机一般来说可以产生比支持向量机及其变体更好的学习泛化能力，尤其是在多类应用上。超限学习机也在很多应用中比深度学习效果更好。实际上，超限学习机已经在手写数字识别、交通标志识别、手势识别和立体图形识别等标准数据集和应用中创造了新的机器学习准确度记录。在许多应用中，超限学习机和深度学习可以有较强的互补性。
图2 - 超限学习机（ELM）的一些应用
ELM学习算法已经用在很多实际应用中，例如大数据分析、机器人、智能网格、健康产业、可穿戴设备、异常检测、地理科学和远程遥测。（图2）超限学习机也被用在我们的一些南洋理工大学同事们的研究中，例如基于超限学习机的短期可再生能源预报、基于超限学习机的面部表情识别和室内局部定位系统。
面向普适学习的超限学习机芯片
随着物联网的深入发展，在不远的未来，大部分的设备将拥有智能与学习能力。我们相信，就如包括人类在内的生物社会一样，这些智能设备也将发展出一个互相交流的“智能物社会”（Internet of Intelligent Things）（图3）。每个智能物都嵌入有学习功能并且能相互交流。
图3 - 智能物的发展三部曲
在这里，由于超限学习机的学习速度比深度学习快上万倍，它也许可以帮助实现智能物社会。超限学习芯片可以集成到硬件中，并实现实时本地在线学习，从而实现普适学习和普适智能。这几年，我们尤其强化关于超限学习机芯片的研究，主要集中在两个方面：多核加速芯片（由助理教授Yu Hao 领导现场可编程门阵列（FPGA）和专用集成电路（ASIC）），和神经形态芯片（由助理教授Arindam Basu领导）（图4）。
图4 - 基于ELM的智能芯片
衔接机器学习和生物学习
超限学习机理论的目标之一是打破机器学习和生物学习之间的壁垒。尽管动物的大脑在总体上来说是结构化及有序的，在其某些层或区域，其局部结构可看成“无序”的。由此我们提出一个问题：与传统机器学习不同，在生物大脑中是否所有隐层节点都需要调整？虽然人脑中也许有几百种不同种类的生物神经元，他们的数学模型也不为人类所知，但是超限学习机理论指出一个基本的生物学习机制也许是生物神经元本身在学习中是不需要调整的，和应用和数据是无关的。
超限学习机理论也许可以解释计算机之父John von Neumann早先的困惑问题，即一个包含很多随机连接的“不完美”生物神经网络，是如何可靠地实现可以和需要预先需要理想硬件连接的计算机可媲美的“完美”学习功能。
我们正在和神经科学家合作来研究生物学习的基本原理。生物学习系统包含着许多目前我们远未了解的基本学习原理。而我们对于机器学习和生物学习之间联系的好奇心，正是推动我们研究的动力所在。
来源：微信公众号 超限学习机
一个真正的机器学习时代需要满足三个条件：强大的计算环境（包括分布式计算、强大的服务器和智能本地化移动设备），丰富的动态数据，和高效率的机器学习技术。
在过去的十几年时间里，我们的研究重点主要集中在利用跨学科知识研发高效率的机器学习技术及其理论上。具体来说，在最近几年我们的研究集中在以下四个方向：
新的神经网络学习理论
在过去几十年里，人工神经网络和支持向量机（Support Vector Machines (SVM)）在机器学习和数据分析领域扮演着重要的角色。深度神经网络在后期得到越来越多人的重视。然而，深度学习作为一种目前流行的机器学习技术，还面临着一些挑战，例如学习速度慢、需要大量的计算资源和人工干预等。
在过去几年我们试图研究和提出新一代的机器学习理论——超限学习机（Extreme Learning Machines (ELM)）。超限学习机理论指出面对众多的不同种类的节点（生物或非生物神经元）和不同的应用，一个基本的学习机制也许是神经元本身在学习中是不需要调整的，和应用是无关的。超限学习机的每个隐层节点也可以是由一个或多个神经元组成的子网络，由此提供一个统一的多层神经网络理论框架。
与过去60年来传统的学习理论不同，超限学习理论的一个重要性质是其普适学习能力（特征学习、聚类、回归、分类等）无需通过调整隐层节点来获得，例如隐层节点可以从前辈继承或随机生成。进一步来说，超限学习理论为传统神经网络提供了理论支持（包括局部感受域和池化策略），而这些理论正是深度学习的核心。
通用神经网络学习算法
基于超限学习机的机器学习算法对多种类型的神经网络都适用，例如小波网络和傅里叶级数在超限学习机理论框架下也可以被认为是神经网络的一种，只不过隐层节点是小波或傅里叶级数而已。相比深度学习和支持向量机等流行的机器学习技术，在许多应用中超限学习机可以做到上万倍的学习速度提升。因此，超限学习机可以做到“实时学习”，在稀疏的数据和大型应用中也可以取得优良的结果（图1）。
图1 - 超限学习机（ELM）的核心考虑
从理论和实际应用来看，超限学习机一般来说可以产生比支持向量机及其变体更好的学习泛化能力，尤其是在多类应用上。超限学习机也在很多应用中比深度学习效果更好。实际上，超限学习机已经在手写数字识别、交通标志识别、手势识别和立体图形识别等标准数据集和应用中创造了新的机器学习准确度记录。在许多应用中，超限学习机和深度学习可以有较强的互补性。
图2 - 超限学习机（ELM）的一些应用
ELM学习算法已经用在很多实际应用中，例如大数据分析、机器人、智能网格、健康产业、可穿戴设备、异常检测、地理科学和远程遥测。（图2）超限学习机也被用在我们的一些南洋理工大学同事们的研究中，例如基于超限学习机的短期可再生能源预报、基于超限学习机的面部表情识别和室内局部定位系统。
面向普适学习的超限学习机芯片
随着物联网的深入发展，在不远的未来，大部分的设备将拥有智能与学习能力。我们相信，就如包括人类在内的生物社会一样，这些智能设备也将发展出一个互相交流的“智能物社会”（Internet of Intelligent Things）（图3）。每个智能物都嵌入有学习功能并且能相互交流。
图3 - 智能物的发展三部曲
在这里，由于超限学习机的学习速度比深度学习快上万倍，它也许可以帮助实现智能物社会。超限学习芯片可以集成到硬件中，并实现实时本地在线学习，从而实现普适学习和普适智能。这几年，我们尤其强化关于超限学习机芯片的研究，主要集中在两个方面：多核加速芯片（由助理教授Yu Hao 领导现场可编程门阵列（FPGA）和专用集成电路（ASIC）），和神经形态芯片（由助理教授Arindam Basu领导）（图4）。
图4 - 基于ELM的智能芯片
衔接机器学习和生物学习
超限学习机理论的目标之一是打破机器学习和生物学习之间的壁垒。尽管动物的大脑在总体上来说是结构化及有序的，在其某些层或区域，其局部结构可看成“无序”的。由此我们提出一个问题：与传统机器学习不同，在生物大脑中是否所有隐层节点都需要调整？虽然人脑中也许有几百种不同种类的生物神经元，他们的数学模型也不为人类所知，但是超限学习机理论指出一个基本的生物学习机制也许是生物神经元本身在学习中是不需要调整的，和应用和数据是无关的。
超限学习机理论也许可以解释计算机之父John von Neumann早先的困惑问题，即一个包含很多随机连接的“不完美”生物神经网络，是如何可靠地实现可以和需要预先需要理想硬件连接的计算机可媲美的“完美”学习功能。
我们正在和神经科学家合作来研究生物学习的基本原理。生物学习系统包含着许多目前我们远未了解的基本学习原理。而我们对于机器学习和生物学习之间联系的好奇心，正是推动我们研究的动力所在。
来源：微信公众号 超限学习机