<ins id="nhbpl"></ins>
      <menuitem id="nhbpl"></menuitem>

      <menuitem id="nhbpl"><delect id="nhbpl"><pre id="nhbpl"></pre></delect></menuitem>
        全球人工智能与机器人峰会 CCF-GAIR 2019
        您正在使用IE低版浏览器,为了您的雷锋网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
        人工智能开发者 正文
        发私信给王雪佩
        发送

        1

        ICLR2019 最佳论文公布:“有序神经元”、“彩票假设”获奖

        本文作者:王雪佩 2019-05-06 18:21
        导语:入选的论文讨论了自然语言处理和模型剪枝问题

        雷锋网 AI 科技评论按,今天,ICLR2019 最佳论文名单公布啦!

        今年获得最佳论文奖的论文有两篇,它们是:

        • 来自加拿大蒙特利尔大学、微软蒙特利尔研究院的「Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks」

        • 来自 MIT CSAIL 的「The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks」。

        雷锋网(公众号:雷锋网) AI 科技评论将这两篇文章的摘要翻译如下:

        获奖论文 1:Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks

        ICLR2019 最佳论文公布:“有序神经元”、“彩票假设”获奖

        有序神经元:将树结构整合到循环神经网络中

        作者:Yikang Shen, Shawn Tan, Alessandro Sordoni, Aaron Courville

        摘要:自然语言是具有层次结构的:较小的单元(如短语)嵌套在较大的单元(如从句)中。当较大的部分结束时,嵌套在其中的所有较小的部分也必须关闭。虽然标准的 LSTM 架构允许不同的神经元在不同的时间尺度上跟踪信息,但它在构建层次上没有明显的偏差。本文提出通过对神经元进行排序来增加这种感应偏差;主输入向量和遗忘门的向量确保了当一个给定的神经元被更新时,在它后面的所有有序排列的神经元也被更新。我们新颖的循环结构,有序神经元 LSTM(ON-LSTM),在这四个不同的任务上取得了良好的性能:语言建模、无监督解析、有针对性的句法评估和逻辑推理。

        关键词:深度学习、自然语言处理、循环神经网络、语言建模

        TL;DR:我们引入了一种新的感应偏差,这种偏差将树结构整合到循环神经网络中。

        论文地址:https://openreview.net/forum?id=B1l6qiR5F7

        获奖论文 2:The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks

        ICLR2019 最佳论文公布:“有序神经元”、“彩票假设”获奖

        彩票假设:寻找稀疏可训练的神经网络

        作者:Jonathan Frankle, Michael Carbin

        摘要:神经网络剪枝技术可以在不影响推理精度的前提下,将训练后的网络参数减少 90% 以上,减少存储需求,提高推理计算性能。然而,目前的经验是,修剪产生的稀疏架构从一开始就很难训练,这个结构同样会提高训练性能。

        我们发现,标准剪枝技术自然地揭示了子网络,其初始化使它们能够有效地训练?;谡庑┙峁?,我们提出了「彩票假设」:密集的、随机初始化的前馈网络包含子网络(「中奖彩票」),当单独训练时,它可以在类似的迭代次数中达到与原始网络相当的测试精度。我们发现的中奖彩票赢得了初始化彩票:它们的连接具有初始权重,使得训练特别有效。

        我们提出了一个识别中奖彩票的算法和一系列支持彩票假设和这些偶然初始化的重要性的实验。我们发现,对于 MNIST 和 CIFAR10,中奖彩票的规模小于几个完全连接和卷积前馈架构的 10-20%。超过这个尺寸,我们发现的中奖彩票比原来的网络学习更快,能够达到更高的测试精度。

        关键词:神经网络;稀疏性;剪枝;压缩;性能;体系结构搜索

        TL;DR:可以在训练后修剪权重的前馈神经网络也可以在训练前修剪相同的权重。

        投稿数量逐年猛增的深度学习顶会

        作为人工智能领域最年轻的会议,ICLR 的成长速度飞快。在 2013 年,ICLR 才举办了第一届,以「表征学习以及在视觉、语音、音频及 NLP 领域的作用」这一重要且热门的课题为主旨,借着 OpenReview 评审机制以及 Yoshua Bengio 和 Yann LeCun 两人的鼎力支持,到 2017 年举办第五届时已经得到了学术研究者们的广泛认可,被看作为「深度学习的顶级会议」。

        在人工智能持续火热的背景下,ICLR 的投稿数量也依然在迅猛增长,ICLR 2015、2016、2017 收到的投稿分别为 143 篇、超过 265 篇、490 篇,今年 ICLR 2018 继续翻倍到了 935 篇?;⒍俅笱Ъ扑慊到淌?Pedro Domingos 都在推特上开玩笑说:「这已经成了深度学习界的摩尔定律了,ICLR 的投稿数目每年都要翻一倍?!?/p>

        去年, ICLR 2018 共收到 935 篇论文投稿,337 篇被接受为会议论文,接受率为 36%;其中 23 篇为 oral(口头报告论文)、314 篇为 poster(海报展示论文);另外还有 90 篇 workshop 论文。

        而今年,ICLR 2019 共收到 1591 篇论文投稿,和去年相比,在投稿数量上仍然保持了大幅度的增长。其中 oral 论文 24 篇,poster 论文 476 篇。

        看来,照这个趋势下去,明年的 ICLR 会更加热闹。而按照惯例,雷锋网每年都会第一时间跟进这些顶会。今年的 ICLR 2019 我们也会持续关注,接下来将会有更多报道,敬请关注。

        雷锋网版权文章,未经授权禁止转载。详情见转载须知。

        分享:
        相关文章

        文章点评:

        表情
        最新文章
        请填写申请人资料
        姓名
        电话
        邮箱
        微信号
        作品链接
        个人简介
        为了您的账户安全,请验证邮箱
        您的邮箱还未验证,完成可获20积分哟!
        请验证您的邮箱
        立即验证
        完善账号信息
        您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
        立即设置 以后再说
        香港六合采67期开奖结果内幕 襄垣县| 稻城县| 邵阳市| 景泰县| 白玉县| 余干县| 麟游县| 茂名市| 新兴县| 越西县| 方山县| 金溪县| 饶阳县| 民县| 兴山县| 南召县| 太仆寺旗| 常山县| 阆中市| 西藏| 木里| 安远县| 青河县| 右玉县| 河源市| 黄山市| http://www.inaazq.cn 甘孜| 巴林左旗| 墨竹工卡县| 西安市| 乌拉特中旗| 同仁县| 都昌县| 涿鹿县| 克山县| 司法| 五原县| 永昌县| 石嘴山市| 福州市| 内乡县| 清河县| 通辽市| 海淀区| 延津县| 辛集市| 吴旗县| 宁远县| 阜新市| 朝阳区| 旺苍县| 东兰县| 牡丹江市| 禹城市| 加查县| http://www.wvljvm.cn 龙胜| 陈巴尔虎旗| 乌海市| 六安市| 阿鲁科尔沁旗| 南木林县| 望城县| 静安区| 榆林市| 金湖县| 桂林市| 江华| 临沭县| 车致| 黔东| 乌鲁木齐县| 肇源县| 岳阳县| 江阴市| 临清市| 札达县| 航空| 天祝| 松滋市| 常熟市| 景东| 成武县| 汝南县| 富源县| 颍上县| 古浪县| 太仓市| 许昌市| 陕西省| http://umoucL.cn 邹城市| 巩留县| 辉南县| 潮州市| 河北区| 高邮市| 三都| 锡林郭勒盟| 柳江县| 罗城| 玉门市| 东明县| 射洪县| 朝阳市| 鲁山县| 平遥县| 和龙市| 福鼎市| 宿州市| 安阳县| 西乌| 曲靖市| 新蔡县| 东乡族自治县| 巴马| 南汇区| 铜陵市| 贵州省| 江都市| http://www.hfnspy.cn 小金县| 土默特左旗| 顺平县| 龙泉市| 敖汉旗| 双峰县| 丽水市| 咸宁市| 阳山县| 邯郸县| 安宁市| 康保县| 盈江县| 维西| 东兰县| 扎兰屯市| 伊金霍洛旗| 吉隆县| 靖边县| 保亭| 龙州县| 启东市| 竹溪县| 安丘市| 凤庆县| 太仓市| 太仓市| 获嘉县| 黄石市| http://www.zhvkhz.cn 东城区| 翼城县| 阳朔县| 云安县| 石景山区| 高陵县| 普兰店市| 靖安县| 察雅县| 三江| 磐安县| 林周县| 元氏县| 雷波县| 乌海市| 宁陕县| 乌兰浩特市| 中卫市| 普格县| 阜南县| 武功县| 垦利县| 禄劝| 修武县| 安福县| 封丘县| 湾仔区| 任丘市| http://hyirdx.cn 大英县| 云霄县| 清新县| 当涂县| 大关县| 东兴市| 桑植县| 韶山市| 子洲县| 来安县| 汉川市| 曲松县| 时尚| 克拉玛依市| 新巴尔虎右旗| 德令哈市| 鄢陵县|