河北自贸区大兴机场片区(大兴)发布首批制度创新清单

中新网北京1月16日电 (记者 杜燕)16日,《中国(河北)自由贸易试验区大兴机场片区(北京大兴)第一批制度创新清单》发布,涵盖五大类共81条,赋予大兴机场片区更多改革自主权,推动高端高新产业集聚发展,完善财税金融支持政策,打造具有吸引力的人才发展环境,推动京津冀协同发展。

按照国务院批复,中国(河北)自由贸易试验区的实施范围119.97平方公里,涵盖雄安、正定、曹妃甸以及大兴机场四个片区。大兴机场片区总面积19.97平方公里,其中北京区域部分9.97平方公里。

现今神经网络变得越来越大,用于训练和预测的成本也越来越高。若能识别出具有可比性能的小型子网,便可以用更少的资源进行训练和推理,从而可以加快模型的迭代速度,并为设备上计算和边缘计算提供新的应用场景。

五是推动京津冀协同发展,包括“深入推进企业信用信息管理、应用等各环节协同合作”、“建立京津冀人才跨区域资质互认、双向聘任等制度,在待遇、职称评定等方面根据个人意愿予以保留或调整”等2项具体举措。此两项协同举措对于推动区域要素充分自由流动,建立统一的区域大市场具有深远意义,也是服务国家京津冀协同发展战略的必然要求。

NTK也许是我们分析神经网络理论行为的最强大的工具,尽管它有其局限性,即实际的神经网络仍然比 NTK 对应的方法的表现更好。

受到BERT (Devlin等人, 2019)及其变体大热的影响,过去一年中,无监督预训练是NLP 领域中的一个流行的研究方向。各种 BERT 变体用在了多模态的环境下,主要在涉及图像,视频以及文本环境(如下图所示)。

目前尚不清楚为什么这些方法在没有任何跨语言监督的情况下如此有效。更好地了解这些方法的工作方式,将使我们能够设计出功能更强大的方法,还有可能揭示出关于不同语言结构的一些见解。

科学可以说是ML最有影响力的应用领域之一。解决方案可对许多其他领域产生重大影响,并且有助于解决实际问题。

四是打造具有吸引力的人才发展环境,包括放宽现代服务业从业限制、优化人才保障服务等方面共6项制度创新。其中“根据服务业扩大开放政策,结合大兴区实际需求进一步扩大外籍人才引进范围、“推动持永久居留身份证外籍人才在创办科技型企业方面享受国民待遇”等一系列人才吸引政策,充分遵循了人才发展需求,将为片区建立更加开放的人才引进机制、打造人才发展平台奠定坚实基础。

多年来,跨语言表示主要集中在单词级别上的表示。在无监督预训练的基础上,过去的一年见证了诸如多语言BERT,XLM(Conneau&Lample,2019)和 XLM-R(Conneau等人,2019)等跨语言模型的深入发展。

以下是这十个研究热点:

最终,NTK 或可为我们阐明神经网络的训练动力学和泛化行为。

五、更鲁棒的基准数据集

在生物学中,许多数据(例如基因和蛋白质)本质上是序列数据。因此,自然可将LSTM和Transformers等NLP方法用于蛋白质分类(Strodthoff等人,2019; Rives等人,2019)。

北京市商务局副局长刘梅英在16日举行的发布会上表示,作为中国首个跨省级行政区域设立的自贸片区,自2019年8月31日挂牌以来,大兴机场片区北京区域已签约了一批项目,总投资额约46亿元(人民币,下同)。截至1月13日,片区新增市场主体56家,注册11.97亿元。同时,自贸片区政务服务中心已于2019年12月建成投入使用。

研究使“中奖彩票”特别的原因,或许还能帮助我们更好地理解神经网络的初始化以及其学习动力学。 

例如,针对生物医药产业出台“建立新药研发用材料、试剂和设备进口绿色通道,对于研究用对照药品一次性进口,实行一次审批、分次核销”等改革举措,充分体现了改革引领、需求导向的工作原则。

目前找到“中奖彩票”的代价仍然太高,无法在计算资源匮乏环境下提供实际的好处。修剪过程中不易受噪声影响且更鲁棒的一次性修剪方法或可缓解这种情况。

尽管功能越来越强大,但自然语言生成(NLG)模型仍然经常产生重复或胡言乱语,如下图所示。

六、用于科学研究的 ML 和 NLP

三是完善财税金融支持政策,包括实施税收支持、增强金融服务功能等26项制度创新。其中“在现行政策框架下,对试验区内生产企业和生产性服务企业进口所需的机器、设备等货物予以免税”,鼓励“开展跨境投融资服务”,鼓励“开展跨境电子商务人民币结算业务”等财税金融领域制度创新举措,将为片区实现金融有序开放、激活民间资本活力、聚集金融要素资源提供有力支撑。

许多研究人员已经观察到,当前的NLP模型并没有学到预期学到的内容,而是采用浅层启发并结合数据中的表层线索的方法(又称为“聪明汉斯时刻”)。随着数据集变得更加鲁棒难学,我们希望(能迫使)模型最终去学习数据中真正的潜在关系。

在不同的剪枝率下测试中奖彩票子网络(实线)与随机采样子网(虚线)的准确性(Frankle&Carbin,2019)。

无监督预训练仍有很大的进步空间,尽管迄今为止它在单个领域都取得了很大进步,未来将重点放在如何更紧密地集成多模态数据,将是一个有趣的问题。

七、修复 NLG 中的解码错误

二、 “中奖彩票”子网络

她指出,本次发布的自贸区大兴机场片区(北京大兴)第一批81项制度创新清单,涵盖五大类共81条,其主要内容包括:

虽然这些模型没有使用任何明确的跨语言信号,但它们即便在没有共享词汇或联合训练情况下实现的跨语言的泛化效果,依旧令人惊讶(Artetxe 等人,2019; Karthikeyan等人,2019; Wu等人,2019 )。

研究者需要人工过滤样本,仅明了地保留那些当前最先进模型处理失败的样本(请参阅下面的示例)。可以重复多次“人在回环”的对抗管理过程,来创建对当前方法更具挑战性的数据集,例如在最近提出的的 Adversarial NLI(Nie等人,2019)基准测试中,就可以实现这一点。

与标准方法的差距,似乎主要由于此类方法的有限宽度所导致,这些可能会在将来的工作中体现出来。这还将有望帮助将无限宽度限制下的一些理论上的见解转换得更符合实际设置。

四、无监督多语言学习

通用无监督预训练 “中奖彩票”子网络 神经正切核 无监督多语言学习 更鲁棒的基准数据集 用于科学研究的ML和NLP 修复NLG中的解码错误 增强预训练模型 高效、长程的Transformer 更可靠的分析方法

另一个令人振奋的进展则是,从现成的预训练英语表示中引伸出深层多语言模型(Artetxe等人,2019; Tran,2020),如下图所示。 

VideoBERT(Sun等人,2019年),一种最新的BERT多模态变体,根据配方(上面)生成视频“令牌”,并根据视频令牌(下面)预测不同时间尺度的未来令牌。

无监督预训练也开始“入侵”以前由监督方法占主导地位的领域。比如:

此外,应在数据集上先运行合适的基准方法,例如,包括使用不同数据变体(例如输入不完整)的简单方法和模型,以使数据集的初始版本尽可能鲁棒。

当下的发展,定有些乌七八糟的事情。

例如,推进“证照分离”改革全覆盖;试点实行告知承诺审批制,进一步优化审批验收程序等创新举措将大幅度降低企业制度性交易成本,营造良好的营商环境。

在语音方面,使用多层CNN(Schneider等人,2019)或双向CPC(Kawakami等人,2019)所学得的表示,在更少训练数据下的表现优于当前最好模型。

这些深度模型还带来了无监督 MT 的改进(Song 等人,2019; Conneau&Lample,2019),在前年(2018年)取得了长足的进步基础上,在去年又从统计和神经方法的更原则性结合中,获得了改进( Artetxe 等人,2019)。

研究表明,在无限宽的情况下,神经网络可以近似为带有神经正切核 (Neural Tangent Kernel ,NTK; Jacot等人, 2018)的线性模型。下图是其训练过程的动态图示。

NLP 领域知名博主 Sebastian Ruder 博士就基于他的研究工作撰写了一份《2019年ML & NLP 领域十大研究热点》的总结报道。

无监督预训练可以在带有更少标记样本的数据上训练模型,这为以前无法满足数据需求的许多不同领域中的应用提供了新的可能性。

虽然最初的剪枝程序仅适用于小型视觉任务,但后来的工作(Frankle等人,2019)在训练的早期而非初始化时应用修剪,这使得剪枝程序可以找到更深层模型的小型子网。Yu等人,(2019)也在NLP和RL模型中发现了LSTM和Transformer的“中奖彩票”初始化。

从对物理问题中的能量建模(Greydanus等人,2019)到求解微分方程(Lample&Charton,2020),ML方法一直在科学的新应用中不断扩大。看看2020年在哪种问题上的应用将会产生最大的影响也是挺有趣的。

她表示,下一步,大兴机场片区(北京大兴)将根据国家给予自贸试验区的各项最新政策,结合大兴机场片区北京区域的实际需求,后续不断推出《制度创新清单》,力争早日将大兴机场片区建设成为“国际交往中心功能承载区、国家航空科技创新引领区和京津冀协同发展示范区”。(完)

另外,我们不仅应该专注于零样本转移,还应该在目标语言中考虑小样本学习问题。

尽管“中奖彩票”仍然很难找,但好消息是这些“中奖彩票”似乎在不同数据集和优化器之间具有可转移性(Morcos等人,2019)。

这个研究方向可能有点反直觉,具体来说就是无限宽的神经网络比窄的神经网络更容易从理论上进行研究。

这篇文章汇总了我认为 2019 年在ML 和 NLP 领域出现的十个最振奋人心和具有影响力的研究方向。针对每个热点,我会总结在过去一年所取得的主要进展,简述为何我认为其重要,并对未来做一个小小的展望。

在生物学中,有研究者在蛋白质序列上预训练Transformer语言模型(Rives等人,2019);

Frankle 和 Carbin 在2019 年的研究中发现了“中奖彩票”现象,即一个随机初始化、密集前馈网络中的一些子网经过极好的初始化,以至于单独训练这些子网就可达到与训练整个网络类似的准确率,如下图所示。 

在自然语言处理方面,即便是一些标准方法,在结合领域专业知识后所产生的影响也能令人兴奋。其中有一项研究使用词嵌入技术来分析材料科学文献中的潜在知识(Tshitoyan等人,2019),以将其用于预测材料是否具有某些特性(请参见下图)。

机器学习已在基础科学问题上取得了一些重大进展。例如,有研究(Pfau等人,2019)将深层神经网络应用于蛋白质折叠和多电子Schrödinger方程。

Artetxe等人(2019)的单语种迁移方法的四步骤。

随着模型变得更好,大多数数据集将需要不断改进,否则就会很快过时。专用的基础设施和工具对于促进此过程很有必要。

二是推动高端高新产业集聚发展,包括支持航空物流、航空科技产业发展,促进生物医药产业开放发展、创新发展科技会展产业,促进其他相关产业发展等方面共11项制度创新。

使用在不同时间段的摘要上训练得到的词嵌入预测将在未来的摘要中研究哪些材料作为铁电材料(a),光伏材料(b)和拓扑绝缘体(c ),与所有候选材料相比,更有可能对前50个预测材料进行研究(Tshitoyan等人,2019)。

虽然到目前为止该研究方向理论上的见解还没有转化为经验上的收获,但这可能有助于我们打开深度学习的黑匣子。

来自HellaSWAG数据集的多项选择句补全示例即使对于最新的模型也很难回答。大多数困难的例子都位于一个复杂的“戈尔德洛克区”,大致由三个上下文句子和两个生成的句子组成(Zellers等人,2019)。

一是赋予大兴机场片区更多改革自主权,包括向大兴机场片区管理机构下放更多经济管理权限、深化营商环境改革、深化投资领域改革、促进社会组织和行业协会发展、提升跨境贸易便利化水平等方面共36项制度创新举措。

刘梅英指出,大兴机场自由贸易片区的设立,能够充分发挥服务业扩大开放综合试点和自贸片区政策叠加优势,探索形成“产业开放+园区开放”联动发展模式,将进一步推动北京市服务业在更高水平扩大开放,促进京津冀协同开放,为中国服务业扩大开放探索更多更好的可复制、可推广的经验。

一、通用无监督预训练

即用型跨语言表示使训练模型所需的非英语语言样本更少。此外,若可以使用英语标记的数据,则这些方法可实现几乎免费的零样本转移。最终,这些方法可以帮助我们更好地理解不同语言之间的关系。

然而在实践中,这些模型的表现不如有限深度模型(Novak等人,2019; Allen-Zhu等人,2019; Bietti&Mairal,2019),这限制了将新发现应用于标准方法。