11:40| 21:23| 17:52| 15:34| 5:54| 11:04| 19:59| 12:58| 19:29| 3:26| 6:24| 21:57| 14:32| 7:47| 0902| 0828| 21:16| 2:57| 18:08| 0105| 1223| 18:57| 21:24| 7:38| 0317| 9:23| 20:11| 14:05| 9:11| 12:29| 19:01| 9:21| 16:10| 4:32| 23:23| 13:02| 5:31| 22:58| 11:24| 0802| 10:13| 22:48| 19:15| 0329| 5:20| 10:02| 12:51| 21:20| 16:17| 6:04| 4:06| 5:52| 13:16| 18:30| 10:48| 22:03| 0430| 11:38| 23:44| 20:32| 23:22| 9:52| 0108| 20:27| 22:11| 0:30| 20:34| 19:09| 21:53| 23:45| 7:20| 0301| 13:05| 0830| 11:45| 22:57| 6:46| 1108| 8:14| 1:36| 1110| 16:15| 9:24| 23:56| 17:32| 0523| 0130| 11:02| 21:29| 18:00| 11:15| 0413| 5:17| 6:26| 17:13| 14:36| 0120| 23:20| 17:46| 21:42| 21:14| 2:25| 3:12| 7:58| 22:44| 11:45| 0426| 13:07| 2:49| 0826| 0506| 19:18| 19:00| 15:40| 0224| 0531| 21:45| 0710| 10:27| 17:19| 5:08| 0929| 23:22| 9:57| 20:06| 17:46| 4:28| 8:51| 16:09| 6:34| 1:15| 3:26| 23:24| 13:48| 23:19| 0:38| 18:05| 0:24| 8:04| 20:38| 7:19| 7:01| 20:31| 5:54| 19:43| 6:35| 2:28| 0113| 1219| 23:54| 8:43| 16:04| 2:17| 12:33| 3:15| 6:36| 14:08| 13:57| 21:50| 17:14| 21:41| 20:57| 20:52| 22:43| 4:18| 1:44| 19:01| 11:46| 14:07| 10:53| 19:35| 1:41| 23:44| 3:27| 16:26| 0205| 22:54| 1112| 21:42| 12:59| 17:43| 6:47| 20:11| 0:56| 0706| 11:34| 1:52| 22:10| 23:32| 4:12| 1123| 6:24| 15:14| 15:51| 20:16| 3:44| 1:01| 22:05| 0917| 22:40| 21:24| 17:10| 1:22| 0201| 17:05| 0:19| 4:08| 14:21| 5:04| 3:50| 8:31| 21:36| 18:44| 23:05| 12:03| 0830| 21:51| 0828| 16:58| 17:25| 4:22| 9:03| 16:05| 22:10| 0718| 6:47| 22:38| 0311| 12:21| 0413| 3:17| 8:23| 10:39| 0214| 19:06| 0910| 9:20| 0403| 0923| 21:42| 3:21| 8:26| 13:47| 16:35| 1:51| 0210| 0210| 18:47| 12:38| 13:23| 1107| 15:06| 20:43| 22:30| 20:27| 1:20| 0412| 23:43| 9:00| 0419| 7:13| 3:04| 6:57| 0:16|

声波传钱!支付宝开始在线下铺声波支付终端了

2018-06-26 01:10 来源:腾讯健康

  声波传钱!支付宝开始在线下铺声波支付终端了

  在贷款率稍微高一点的店,也是一年4%。凤凰网汽车:从林肯大陆推出之后的所有林肯车型,都会非常注重中国消费者的喜好?林恺音:2014年MKZ和MKC进入中国的时候,其实已经在北美开始销售了。

平行进口车在一定时期内也经历了来自整车厂商和授权经销商的歧视和压制。仅比Smart轴距略长的REDS项目能容纳五个成年人,拥有可折叠方向盘、可旋转座椅和灵活多变的空间组合等产品特点。

  全系只有一种动力总成,自然吸气发动机最大功率91kW(124Ps),动力输出足够线性。统计局数据显示,2017年GDP同比增长%。

  再来看看长城2008年至2014年在俄罗斯的销量,会比较清晰判断长城俄罗斯的现实状况究竟如何。而街区,既可以让您静享自然之美,又能俯瞰一城繁华……清晨,当第一缕阳光照射在波光粼粼的湖面上,像是给湖面铺了一层闪闪发光的碎银,又像是被揉碎了的绿缎。

十一月售出仅仅售出68辆车,同比大跌94%。

  进一步影响了市场集中度,不易形成规模经济。

  从城市公园到法式私家庭院绿色合围,让回家成为穿越湖景花园的旅行,记录时代的建筑才能得以铭记和传承。【发明的前言】要把汽车发明的发明工作抓好,这是陈光祖老给我二年机工出版的汽车自主研发系列丛书作的序言。

  二是在产业的核心资源控制上,上下游产业链开始形成自己的定位,核心资源不断向引领创新的企业高度聚集。

  扶手箱空间还不错,能放不少东西,让车内更加整洁。”“今天正在走向一个从城市化到城市圈发展的明显态势,我们估算未来在整个中国,城镇人口规模从7亿到10亿的过程中,可能会有超过20个的超大城市圈。

  卢布汇率再次进入动荡区间,导致进口成本大增,还未在俄罗斯建成大规模组装厂的长城,进口组装配件价格上涨过快,组装完成后车型售价将飙升,完全失去性价比优势,低迷的俄罗斯车市,消费者完全无法接受高价中国品牌车,令长城陷入困局,再与伊利托交恶,彻底无解的局面出现,最终结果就是暂停销售,何时恢复销售得视长城如何破解危机。

  厂家保持平衡说位于北京来广营西路88-1号的北京汇京德通汽车销售服务有限责任公司,多年来一直从事品牌车型的销售和售后服务相关业务。

  特斯拉就是这个产业里格局里的那个爷爷辈轻乳酪蛋糕品牌,原来大家都在蛋糕房里做,但是特斯拉把它单独弄出来做了个品牌,并且还形成了粉丝圈,受到了一片追捧。从使用方式来看,汽车由过去的私人拥有和私人使用为主,向私人拥有和共享--同拥有相结合的科学合理使用转变未来出行。

  

  声波传钱!支付宝开始在线下铺声波支付终端了

 
责编:
注册

声波传钱!支付宝开始在线下铺声波支付终端了

截至1月24日,12个省份在政府工作报告中披露了当地2018年GDP预期增长目标,较去年相比,这一目标均为下调或持平。


来源:机器之心

原标题:开源 | Intel发布神经网络压缩库Distiller:快速利用前沿算法压缩PyTorch

原标题:开源 | Intel发布神经网络压缩库Distiller:快速利用前沿算法压缩PyTorch模型

选自intel

作者:Neta Zmora

机器之心编译

参与:思源

近日,Intel 开源了一个用于神经网络压缩的开源 Python 软件包 Distiller,它可以减少深度神经网络的内存占用、加快推断速度及节省能耗。Distiller 为 PyTorch 环境提供原型和分析压缩算法,例如产生稀疏性张量的方法和低精度运算等。

项目地址:https://github.com/NervanaSystems/distiller/

文档地址:https://nervanasystems.github.io/distiller/index.html

深度学习正快速发展,它从输入法到汽车已经应用到各种场景和设备当中。但它们所采用的深度神经网络在运算时间、计算力、内存和能耗上都有非常大的需求。很多开发者考虑到硬件和软件的限制及实际应用的环境,而在算法准确度、速度和功耗之间取得平衡。近日,Intel 人工智能实验室开源了 Neural Network Distiller,它是一个为神经网络压缩算法研究而设计的 Python 包。Intel 认为深度网络的压缩可以成为促进更多的研究成果投入应用,并实现更优秀的功能。

深度网络压缩

面向用户的深度学习应用需要高度重视用户体验,因为交互式的应用通常对程序的响应时间非常敏感。谷歌的内部研究发现即使很小的服务响应延迟,它对用户的影响也非常显著。而随着越来越多的应用由深度模型提供核心功能,不论我们将模型部署在云端还是移动端,低延迟的推断变得越来越重要。

减少计算资源和加快推断速度的一种方法是从一开始就设计一种紧凑型的神经网络架构。例如 SqueezeNet 和 MobileNet 都旨在压缩参数数量与计算量的情况下尽可能保留较高的准确度,而 Intel 人工智能实验室也在设计这种紧凑型的模型,即提出了一种用于深层 DNN 的无监督结构学习方法,以获得紧凑的网络结构与高准确率。

而另一种降低计算力需求的方法直接从通用且性能优秀的深度网络架构开始,然后通过一些算法过程将其转换为更加短小精悍的网络,这种方法即神经网络压缩。

神经网络压缩是降低计算力、存储空间、能耗、内存和推断时间等需求的过程(至少其一),它同时还需要保持其推断准确性不下降或在可接受的范围内。通常这些资源是相互关联的,减少一种资源的需求同时会降低其它资源的需求。此外,即使我们使用前面几种紧凑的小模型,我们同样可以使用压缩算法进一步减少计算资源的需求。

其实很多研究都表明深度神经网络存在着非常高的参数冗余,虽然这些参数冗余在收敛到更优解时是非常必要的,但在推断过程中可以大量减少参数与计算量。总体而言,绝大多数压缩方法在于将巨大的预训练模型转化为一个精简的小模型,且常用的方法有低秩近似、神经元级别的剪枝、卷积核级别的剪枝、参数量化及知识蒸馏等。

例如在量化这一常见的压缩算法中,我们只需储存 k 个聚类中心 c_j,而原权重矩阵只需要记录各自聚类中心的索引就行。在韩松 ICLR 2016 的最佳论文中,他用如下一张图非常形象地展示了量化的概念与过程。



如上所示权重矩阵的所有参数可以聚类为 4 个类别,不同的类别使用不同的颜色表示。上半部分的权重矩阵可以取聚类中心,并储存在 centroids 向量中,随后原来的权重矩阵只需要很少的空间储存对应的索引。下半部是韩松等研究者利用反向传播的梯度对当前 centroids 向量进行修正的过程。这种量化过程能大量降低内存的需求,因为我们不再需要储存 FP64 或 FP32 的数据,而只需要储存 INT8 或更少占位的数据。

Distiller 简介

Intel 主要根据以下特征和工具构建了 Distiller:

  • 集成了剪枝、正则化和量化算法的框架

  • 分析和评估压缩性能的一组工具

  • 当前最优压缩算法的示例实现



剪枝和正则化是两种可以令深度网络参数张量产生稀疏性的方法,其中稀疏性度量的是参数张量中有多少数值精确为 0。稀疏张量可以更紧凑地储存在内存中,并且可以减少执行 DNN 运算所需要的计算量和能耗。量化是另一种减少 DNN 中数据精度的方法,它同样会减少内存、能耗和计算力需求。Distiller 为量化、剪枝(结构化剪枝和细粒度剪枝)和诱导稀疏性的正则化等方法提供了越来越多的当前最优算法,并支持训练更快、更紧凑和更节能的模型。

为了帮助研究者更专注于它们的任务,Intel 尝试提供一些大多数研究者都需要了解的压缩算法,并同时提供了高级和底层函数以方便使用。例如:

  • 剪枝方法在深度网络经过训练后,动态地从卷积网络层级移除卷积核与通道。Distiller 将在目标层配置中执行这些变化,并且同时对网络的参数张量做剪枝。此外,Distiller 还将分析模型中的数据依赖性,并在需要时修改依赖层。

  • Distiller 可以自动对模型执行量化操作,即使用量化后的层级副本替代具体的层级类型。这将节省手动转换每一个浮点模型为低精度形式的工作,并允许我们专注于开发量化方法,且在多种模型中扩展和测试它。

Intel 已经通过 Jupyter Notebook 介绍并展示如何从网络模型和压缩过程中访问统计信息。例如,如果我们希望移除一些卷积核,那么可以运行用于滤波器剪枝敏感性分析的模块,并得到类似以下的结果:

Jupyter Notebook 地址:https://nervanasystems.github.io/distiller/jupyter/index.html



Distiller 的统计数据可导出为 Pandas DataFrames,它可用于数据选择(索引和截取等)和可视化。

Distiller 还展示了一些示例应用,并使用量化和剪枝等方法压缩图像分类网络和语言模型。Distiller 还实现了一些神经网络压缩的前沿研究论文,它们也可以作为我们尝试新方法的模板。此外,我们也可以在官方 PyTorch 深度预训练模型上使用这些压缩算法,以降低计算资源的需求。

Distiller 压缩示例:https://nervanasystems.github.io/distiller/model_zoo/index.html

这只是个开始

Distiller 是一个用于压缩算法研究的库,它致力于帮助科学家和工程师训练并部署 DL 的解决方案、帮助发布研究论文以及促进算法更新与创新。Intel 目前也在添加更多的算法、特征和应用领域,如果读者对于研究并实现 DNN 压缩算法很感兴趣,也可以帮助改进并提升 Distiller 库。最后,Distiller 非常欢迎新的想法与深度网络压缩算法,同时也希望开发者能多发现该库的 Bug。

[1] Forrest N. Iandola, Song Han, Matthew W. Moskewicz, Khalid Ashraf, William J. Dally and Kurt Keutzer. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size.」_arXiv:1602.07360 (https://arxiv.org/abs/1602.07360)_ [cs.CV]

[2] Andrew G. Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto and Hartwig Adam. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications. (_https://arxiv.org/abs/1704.04861_).

[3] Michael Zhu and Suyog Gupta,「To prune, or not to prune: exploring the efficacy of pruning for model compression」, 2017 NIPS Workshop on Machine Learning of Phones and other Consumer Devices (_https://arxiv.org/pdf/1710.01878.pdf_)

[4] Sharan Narang, Gregory Diamos, Shubho Sengupta, and Erich Elsen. (2017).「Exploring Sparsity in Recurrent Neural Networks.」(_https://arxiv.org/abs/1704.05119_)

[5] Raanan Y. Yehezkel Rohekar, Guy Koren, Shami Nisimov and Gal Novik.「Unsupervised Deep Structure Learning by Recursive Independence Testing.」, 2017 NIPS Workshop on Bayesian Deep Learning (_http://bayesiandeeplearning.org.halawxsbh.com/2017/papers/18.pdf_). 


本文为机器之心编译,转载请联系本公众号获得授权

?------------------------------------------------

加入机器之心(全职记者 / 实习生):hr@jiqizhixin.com

投稿或寻求报道:content@jiqizhixin.com

广告 & 商务合作:bd@jiqizhixin.com

  • 好文
  • 钦佩
  • 喜欢
  • 泪奔
  • 可爱
  • 思考

凤凰网科技官方微信

凤凰新闻 天天有料
分享到:
桃坑乡 飞龙庙 龙蟠镇 田东县 永丰产业基地
长青道 海力色太 刘堤口村委会 上海化工区金山分区 幺六桥回族乡大新庄村区