拒绝访问 |
| 百度云加速
请打开cookies.
此网站 () 的管理员禁止了您的访问。原因是您的访问包含了非浏览器特征(3ae2e0ce47bf4388-ua98).
重新安装浏览器，或使用别的浏览器&&&&& 最近研究上了这个一个东西--极限学习机。 　　在很多问题中，我大多会碰到两个问题，一个是分类，另一个就是回归。简单来说，分类是给一串数打个标签，回归是把一串数变为一个数。 &&&&&& 在这里我们需要处理的数据一般维度都比较高，在处理这两类问题时最简单的方法就是加权。使那些对最终结果影响大的维度的数据的权设大点，影响小的权设小点。其实，影响小的这些维度的数据对于我们整个建立的模型也不是完全没有用的。至少它们保证了我们整个模型的稳定和鲁棒性。 &&&&& 直到现在我都没有说什么是ELM(极限学习机)，因为，它本身还存在很大的争议。就我到现在的研究，从实验结果来说，所有变种的ELM，没有最原始的ELM的结果好，而这最好的结果也没有SVR(支持向量回归)好。
&&&&& ELM的网络结构和单隐层的BP网络是一样的，只是他们内部神经元之间连接的权值的计算方法不一样的。
&&&&& 网络结构图如下: & 研究到后来发现了很多的问题。特别是其中的求伪逆的那个部分，当H的维数很高的时候，这样求出来的伪逆的误差是非常大的。
阅读(...) 评论()机器学习周报
机器学习周报
@ 出品, 过往目录见
发封空信，标题是" 订阅机器学习日报 " 或 " 订阅机器学习周报 "
本期的Web版是 目录 显示/隐藏 星期日
看到网上疑问:"ELM这么简单的东西怎么会work?如果真的work,为什么没有广泛应用?" 有这样的疑问是正常的.10年前ELM刚提出时几乎无人信,因为完全不符合常规.ELM先从理论开始的,理论证明是难的,到实际也有个过程.很多公司已经在实际中用ELM了.其实深度学习也是从80年代就有人研究了,大范围用已是20年后了.
从这个角度讲, ELM兼具SVM, PCA, LS-SVM等的优势,又有深度学习的"肢解"功能. ELM涵盖单层,多层,在以前的微博中简单提到过.所以ELM在许多应用中超过深度学习是不奇怪的.也可以参考文章:和
HMM 博客 异常检测
理工渣眼中的HMM及安全应用，介绍了什么是HMM以及HMM在HTTP异常检测中的应用关键代码，实时的HMM可以用于WAF或IPS系统实时检测，离线的HMM可以用于WAF或IPS系统的误报漏报运维
顶！推荐大家观看：【视频：【CVPR12】用离散连续优化进行多目标追踪】
（分享自 @优酷科技）
【基于Caffe的两层LSTM架构语言模型NLP-Caffe】 附带用Google's Billion Word corpus子集构建语言模型的例子，由Caffe的一个pull request而起，最终会合并到Caffe的master branch里去
三篇feature learning的系列文章 偏theory点 [Learning in the Presence of Corruption] [A Theory of Feature Learning ] [Le Cam meets LeCun: Deficiency and Generic Feature Learning] @unluckyAllen 都是贵校 Williamson的
【王飞跃】X5.0：平行时代的平行智能体系（1万1千字演讲稿及63页PPT图文详解版） 王飞跃老师的报告不仅有复杂系统、人工智能领域的最新科技介绍，还有宏大的哲学体系探讨，以及对未来平行时代的畅想，几乎将他平生对人工智能、平行世界的研究所得倾囊注入。
王飞跃老师的精彩演讲现场互动热烈，并在我们上周在线进行的《新智能时代论坛》最佳讲者评选中，以最高票数得到论坛参与者的青睐。如果您关注人工智能，复杂系统，大数据和工业4.0方面的前沿探索，王飞跃老师这篇讲稿，一定要阅读、转发且收藏。@BigData大数据@殆知阁@龙星镖局
分布式学习
【回归基础:机器学习周末阅读列表】《Back-to-Basics Weekend Reading - Machine Learning》 文中提到的三篇论文（机器学习那些事、无监督聚类综述、监督分类综述）都很经典，Domnigos的机器学习课也很精彩，有机会再单独推荐 云:
约克大学科学家们的最新研究成果表面，仅仅模仿了大脑的一个简单trick，即如果将用户不同的照片通过变换形式组合到一起，用户存储了一个自己的“平均”脸，那么智能手机的人脸识别安全性能可以被大幅度的提高。【参考文献有Paper】
【Extreme learning machine(ELM)到底怎么样，有没有做的前途？】@聪老师ZJU永远马屁精：利益相关：我本科时候做过这个，发过两篇ELM的会议，其中一篇被推荐到某不知名SCI期刊。不过读了phd之后就不做了。 我觉得做ELM这些人最大的问题在于： … （分享自 @知乎）
大概5年前，做过一些类似stacked ELM的工作，当然角度是从浅层学习机器的先验信息的角度初始化深层神经网，后来工作变动，没有整理成文。ELM 本身挖掘深度有限。和深层学习结合或有一定发展，但仍是个很小的具体算法领域。做研究还是要选择大一些的问题领域，方法论领域，具体的算法连带着做做即可。
【莱斯大学（Rice University）的深度学习的概率理论】 是摘要，全文56页PDF下载： @52NLP @数盟社区 @BigData大数据 @龙星镖局
沾与白老师讨论的光，重发 科学网—【科普随笔：NLP主流最大的偏见，规则系统的手工性】@王伟DL @吴军博士 @孙茂松 @孙乐_ISCAS @白硕SH @zhazhaba @西瓜大丸子汤
幻灯片 视频
原来是Hinton最早把SVM理解定义为一层网络，之前一直以为LeCun在那次采访中提出来的个人观点呢。强烈推荐这个07年的讲座视频，里面可以看出后来DL一系列改进的思想源泉，就是老爷子说话太快了，slides有好多跟不上就过去了
回复 @龙星镖局 “还不一定是Hinton最早这样看SVM，...”
SVM95年MLJ上就是被审稿人要求以"支持向量网络"名义发表的。SVM和RBF网络有直接联系。但强调这个没实质意义，神经网络是一种表达形式，你能为各种学习算法做出对应的神经网络版本，例如PCA，但这些神经网络背后的道理是不一样的
强调这个其实没太大意义，SVM的核心还是在于hinge loss，而这个loss的本质是在于efficiency
最近开始的项目：GENIE and LAMP. LAMP 代表Semi-lazy Mining Paradigm。基本想法是即时建模。等要预测的Query进来后，从数据中选一小撮的KNNs，建个local model来做预测. GENIE代表Generic Inverted Index, 是方便在各种不同类别的数据以并行方法找KNN。详情可以去 。
行业动态 课程
【API方式提供文本及图像分类服务的MetaMind.io】 api使用非常方便，很有前途的创业公司，CTO是Richard Socher——昨天推荐的深度学习与自然语言处理课程主讲(//CbqcD6Fcr )。这才是真正的产学研，呵呵
Zachary Chase Lipton写的MetaMind介绍文章《MetaMind Competes with IBM Watson Analytics and Microsoft Azure Machine Learning》
PDF 信息检索
【报告:信息检索结果多样化综述】《Search Result Diversification》R L. T. Santos, C Macdonald, I Ounis
用搜索结果的多样化排序解决查询歧义问题 云:
Python TFIDF 教育网站 信息检索
【文本向量空间模型入门(IPN)】《The Vector Space Model of text》 示例中没有用NLTK和Scikits-Learn，而是用最基本的Python实现，目的是从根本上把相关概念讲解清楚，非常适合初学NLP的朋友
#CCF ADL#（学科前沿讲习班）是面向有意提升自己学术能力的青年计算领域专业工作者设立。ADL邀请国内外各领域顶级专家担任讲师，深入系统地讲解计算机领域的理论、技术和发展趋势，学员有机会和专家面对面交流。现将2015年ADL计划课程发布如下，欢迎参加。
ADL围绕计算领域不同学科方向开设，每年10期，每期2-3天，至今已举办55期，因其前沿、高端、务实深受会员的欢迎，现已成为CCF的一个品牌活动。[赞]@唐杰THU @谢幸Xing @土人谭晓生 @刘奕群THU @黄萱菁
10月9日到11日，南昌，大数据时代的自然语言处理。6位数据科学，自然语言处理和机器学习的顶级专家将献出一场知识盛宴。欢迎参加！
【烧脑Panel】新智能时代需要大脑驱动？ 到底“中国大脑”计划是怎么回事？和“百度大脑”、“讯飞超脑”、“欧洲大脑”、“美国大脑”有什么关系？在3月22号的论坛Panel上，百度、讯飞研究院的负责人，人工智能大咖们围绕着各种“脑”展开了“巅峰之战”。
微软联合Criteo发布的TB级别的广告点击数据。很适合用来做分布式机器学习boosted tree和LR的benchmark。4 billion examples with 800m unique attributes。下载链接
大家做的时候，记得cite我的CTR prediction的paper哦，
PageRank Spark 数据科学 信息检索
【用BIDMat计算PageRank:单台GPU比50节点Spark快4倍】《Single GPU-Powered Node 4x Faster Than 50-node Spark Cluster》
BIDMat 来自名门，来自大名鼎鼎的 John Canny, 这人读博士的时候，发了一个SOLE作者的工作：Canny边缘检测算子，一个多级边缘检测算法,现在引用都2万多了！现在BIDMat的问题是无法做分布式，并且很难用，依赖包太多，尝试去装过，包太大，放弃，看后续发展把！
回复 @REALSTOLZ “也许用的是纯spark，没有用graph...”
回复@REALSTOLZ:pagerank这种全图迭代的对spark还算好了，bfs wcc才是spark真正的悲剧[哈哈]
Kaggle 数据科学
《怎样快糙猛的开始搞Kaggle比赛》aka 迅速入门当上挣钱多干活少整天猎头追跳槽涨一倍数据科学家的捷径 本文写给想开始搞Kaggle比赛又害怕无从下手的小朋友们。原文发表于
回复 @Jay_Dato机器学习 “Repost”
哎呀，忘记插入Dato和graphlab的广告了
打字太快没有注意到自动拼写检查，里面提到的vw正确拼写是 Vowpal Wabbit
KDD 幻灯片
由MSR，Google，Yahoo，IBM，CMU等大佬联合出的《Scaling Up Machine Learning》非常不错，slides在这里，非常棒，值得裸奔推荐。
【机器学习主题Tutorials资料集锦】《Tutorials on topics in machine learning》 按主题分类的学术会议Tutorials资料集锦，都不算新，不过有些很经典，值得一看 云(网页pdf):
【如何评价中国科学技术大学的最新成果: "量子计算应对大数据挑战： 中国科大首次实现量子机器学习算法"?】Summer Clover：谢邀。 每个量子计算的大新闻都邀我，但我的主业真的是机器学习.. 简单讲一讲吧。 1）关于这项工作本身 简单来说就是，用光… （分享自 @知乎）
经典量子算法只有搜索算法和大数分解，搜索算法错误率很高，近年才改进到90%多，机器学习是规模算法，经典量子机迄今才几个位。只有模拟退火的非经典量子神经网络一直在研究。
1)[No Free Lunch定理,Wolpert,IEEE'97]
任何算法在一类问题上性能的提升是以在另一类问题上性能的下降为代价的 2)[学习与正则,Poggio,MIT'14]
从有限样本有效推理IFF问题满足先验条件 3)[科学发现的逻辑,Popper,1959]除非有先验知识,否则纯归纳是不可能的
【白硕】自然语言处理与人工智能（13页PPT图文详解版）
在白硕老师看来自然语言是人类智能的一种展现，既然是智能的展现，那么通过研究自然语言，就可以挖掘出智能的一些本质。而一旦语言被机器认知理解，那么真正的人工智能就有更多实现的可能。
白硕老师在这次报告中试图寻求自然语言背后的奥秘，是否在中文和英文之间有通用的路径。白硕老师的研究也正是讯飞研究院胡郁院长提到的新认知革命的一部分，虽然比较抽象，但这正是人类智能高于其他生物之处，值得我们进一步去探索和挖掘。@白硕SH@殆知阁@统计之都@52nlp
我的理解：规则与统计之争，根本是一个经济学问题，就是人力到底是放在数据准备这边，还是模型准备这边。当数据廉价的时候，统计扬眉吐气。当数据稀缺的时候，规则用处大。准备数据的人和准备模型的人各自有不同的成本。廉价大数据并不是一个普遍现象。
很认真地看完白老师的文章，感觉白老师很理性和全面地对自然语言理解（处理）的当前状态做了梳理。很是同意“自然语言目前的实质问题‘1.递归嵌套，2远距相关’”。我觉得即使表面不去谈什么词法、句法和语义这样的内容，但要真正解决好如上的2个问题也是无法绕开这些实质内容的。
自然语言处理有很多问题，如上2个问题是拦在路上的亟待解决的理论建构问题，其它语料标注和资源建设，以及其它一些问题更多体现的是工程上问题。关于对人工智能的作用，我倒是更偏向NLP有更大促进作用，比如在理解自然语言描述的知识后可以进行有效推理。当然感觉这还遥远，等到时真理解了再论也不迟。
回复 @白硕SH “真理/解/了[嘻嘻][嘻嘻][嘻嘻]”
回复@白硕SH:白老师高！这么小段话，都能看出歧义。看来即使一个分词问题，不装点语义的东西都不行啊，更别说后续的那些了深层处理了，[嘻嘻][嘻嘻]
白硕老师在这次报告中试图寻求自然语言背后的奥秘，是否在中文和英文之间有通用的路径。白硕老师的研究也正是讯飞研究院胡郁院长提到的新认知革命的一部分，虽然比较抽象，但这正是人类智能高于其他生物之处，值得我们进一步去探索和挖掘。@白硕SH@殆知阁@统计之都@52nlp
回复 @白硕SH “自己转一下，求拍砖。”
核心观点：NLP “要共同面对的问题难点是明确的：一个是递归嵌套的深度，一个是语言成分远距离相关的宽度” 白老师关注的NLP问题: 1.“语言学知识长什么样” 2.“利用RNN（递归神经网络）做语言知识的自动获取” 3.“用自然语言作为知识表示直接进行模式推理和检索”
回复 @白硕SH “自己转一下，求拍砖。”
研究 “语言学知识长什么样”的partial parsing tree，白老师前几年就在微博里提到过。不知道有没有最新的发展？
回复 @白硕SH “自己转一下，求拍砖。”
另外一个小细节：RNN在幻灯里是说“反馈神经网络”，在讲座文本里写的是“递归神经网络”，那到底是recurrent 还是 recursive NN?
【Text Understanding from Scratch实现代码开源】GitHub: @G_Auss 今天发布了论文《Text Understanding from Scratch》实现代码，基于Torch 7实现CNN字符级文本分类，赞！对该论文的推荐://C3xNXaIIx 评论文章://C8sYLAMMp
【中国科大首次实现量子机器学习算法】中国科大潘建伟、陆朝阳、刘乃乐等在国际上首次实现量子机器学习算法。国际权威物理学期刊《物理评论快报》发表了这一成果。这是量子计算应用于大数据分析和人工智能领域的开创性实验工作。审稿人评价该工作“非常前沿，具有高度的兴趣”。
回复 @石博天的Research小马甲 “三体人快来解放我们吧！”
真的是首次吗？印象之前有人讨论过量子机器学习，google的一个视频
回复 @明风Andy
现实常没有groundtruth, 机器无处可学,不如专业系统,做机器学习一方面要想办法搞标注，一方面要多想些验证方法。
来自以色列巴伊兰大学最新的TACL文章 Improving Distributional Similarity with Lessons Learned from Word Embeddings
(需要翻墙) 作者发现，经过调参，传统的方法也能和word2vec取得差不多的效果。另外，无论作者怎么试，GloVe都比不过word2vec。
Is GloVe superior to SGNS? Pennington et al. (2014) show a variety of experiments in which GloVe outperforms SGNS (among other methods). However, our results show the complete opposite. In fact, SGNS outperforms GloVe in every task (Table 5). [拜拜]
SVM 行业动态
1)PLDA(王益); 2)PLDA+(刘知远)都是在谷歌时搞出来的, 有共同的合作者【Edward Y. Chang】何许人也? 张智威, 谷歌研究院院长 ()，并行软件SVM、LDA、FP、谱聚类. 出了两本书: 1)一本“普通”学术: 组合异构多媒体数据、高效可扩展系统(并行化); 2)一本“文艺”诗集: 悸动-信念-希望-爱
[Big Data Analytics: 3A, E.Chang, BigDat'15]
1讲并行分布式算法(LDA SVM FP); 2讲深度学习(NN CNN和层次图模型); 3讲数据分析平台和处理引擎(交互 批 流; 函数式编程);
【Paracel十问】1. Paracel的是什么？ Paracel是豆瓣开发的一个分布式计算框架，它基于参数服务器范式，最初是为机器学习算法设计的。...
回复 @灵魂机器 “Repost”
豆瓣版Parameter Server
回复 @老师木 “豆瓣版Parameter Server”
好像petuum差不多
回复 @老师木 “豆瓣版Parameter Server”
ps的轮子实在是太多了 ..
又一个分布式机器学习架构，来自豆瓣。
加上有pettum和@李沐M 的parameter server。已经有三个PS的实现了。paracel和已有的东西有什么不同呢。可能因为PS abstraction暂时还没有公认的稳定标准实现?
回复 @老师木 “豆瓣版Parameter Server”
赞作者@吴竑 ，注意是清华出来的帅锅！
比起框架我觉得接口设计更加重要。有了一个标准之后机器学习代码可以依赖接口而不是依赖平台。MPI(allreduce)，mapreduce 都是如此。PS到底什么样的接口是“标准” 。 从dnn的经历来看pettum略简单，而parameter server一开始比较复杂，不过最近在向简单的方向走。
回复 @陈天奇怪 “比起框架我觉得接口设计更加重要...”
同意，好的抽象才是革命性的，具体实现可以慢慢优化
回复 @陈天奇怪 “加上有pettum和@李沐M 的paramet...”
其实不止三个，比如还有singa , 不过实现的略简单。 今年上半年我们会再发布一个版本[嘘][阴险]，有信心让大家眼前一亮。
回复 @马超Terminal “其实不止三个，比如还有singa , ...”
协议与收敛性，减少消息传递，容错性，模型参数依赖...，任重而道远
回复 @陈天奇怪 “加上有pettum和@李沐M 的paramet...”
@马超Terminal:其实不止三个，比如还有singa , 不过实现的略简单。 今年上半年我们会再发布一个版本，有信心让大家眼前一亮。
博客 代码 主题模型
@课程图谱 群里有同学询问文本相似度的问题，以前基于gensim写过相关的博文
，不过最近发现gensim提供了一个 document similarity server非常方便
, 老外也基于这个提供了rest server的版本
以及web操作接口
课程 语言学
【新课推荐：语言学概论】语言学家怎样研究语言？计算机翻译什么时候才能完全取代人类？如果你对语言学感兴趣，就来学习这门课程吧！莱顿大学开设《神奇的人类语言：语言学概论》，由著名语言学家Marc van Oostendorp 主讲，今天开课： #MOOC新课# PS，你能看出课程图标是什么吗？
Paracel 博客 代码 课程
《PARACEL：让分布式机器学习变得简单》: ，Paracel Github: ，API：，Quick Tutorial：。豆瓣开源，作者@吴竑
Spark 行业动态
【阿里明风：图流合壁，基于Spark Streaming和GraphX的动态图计算】@明风Andy ：借助GraphX强大的图计算能力，在小时级别内完成对TB数量级的图数据挖掘已经不是什么难事。但是随着互联网电子商务的快速发展，各种各样的图场景应运而生，从而对图的计算提出了更高的时效性要求。
回复 @IBM认知计算_Watson “Forward Weibo”
为什么我觉得把问题形式化为graph求解是多此一举呢。固然可以从图的视角去理解，实现时能带来什么好处呢。
回复 @gootobe “我觉得graph计算对于非常稀疏的矩...”
我理解graph不会带来任何效率上的好处，图的好处是，一致的抽象只需要一个统一的执行引擎，任何任务只要抽象成图就能跑。扫二维码下载作业帮
拍照搜题，秒出答案，一键查看所有搜题记录
下载作业帮安装包
扫二维码下载作业帮
拍照搜题，秒出答案，一键查看所有搜题记录
求翻译：Reduced Kernel Extreme Learning Machine是一篇数学论文的的题目
扫二维码下载作业帮
拍照搜题，秒出答案，一键查看所有搜题记录
降低内核的极端学习机请采纳
为您推荐：
扫描下载二维码Extreme learning machine (ELM) 到底怎么样，有没有做的前途？ - 知乎796被浏览168354分享邀请回答jmlr.org/papers/volume15/delgado14a/delgado14a.pdf)。这样的东西的分量恐怕发一篇JMLR都不够，可是却被华人发展成了一个领域，还有自己的会议和期刊，e.g. 耶稣给了人们一些启示和指导，却被发展成教堂、教会，不断上演一出出大戏。43 条评论分享收藏感谢收起