download

人工智能在自然语言处理技术上的应用与AI跨境电商翻译的发展

根据微软亚洲和IDC使用人工智能评估亚太地区零售业研究的最新结果,采用人工智能的零售企业已经在客户参与度、商业情报、利润率、竞争力和创新方面看到了16%至19%的改善。到2021年,预计人工智能将推动该地区的零售企业在这些领域进一步改善37%至44%。

71%的零售业决策者认为人工智能有助于提高企业在未来三年的竞争力,但只有33%的受访者已经开始了人工智能部署,使零售业落后于其他行业。

人工智能在零售领域的应用已经成为一个广泛探讨的话题,埃森哲在起发布的《AI: Built to Scale》报告中,通过对12个国家,16大行业,1500名首席执行官和C-Level决策人进行统计调研,调研结果表明,84%的决策者认为如果没有AI技术,他们将无法达成业务增长目标,76%的决策人为如何打通AI在企业内部各个业务层级的规模化表示纠结,75%的决策人认为,如果无法将AI进行规模化,那么在未来5年他们的生意将经受危机和挑战

在线零售商,尤其是出口电商,在中国已经取得了长足和长效的发展,但广大中小企业的领导人同样面临着如何将企业带入规模快和下一个发展阶段的重任。

本文将从语言、尤其是小语种语言的本土化在跨境电商当中扮演的重要角色,和如何利用AI翻译快速规模化跨境业务,等角度进行深度剖析,以期对相关从业人员布局新的业务和投入相应资源做出建议和指引

AI在自然语言处理技术领域的发展和应用

人工智能是一个十分宽泛的概念,有着极其广泛的应用,自然语言处理技术在零售领域的应用进行深度剖析,洞察AI翻译的发展前景与趋势,对零售商即将产生的深刻影响。

据中国科学院大数据挖掘与知识管理重点实验室发布的《2019年人工智能发展白皮书》,将人工智能关键技术分为如下八大类,并对自然语言处理技术进行了深度的解构

来源:中国科学院大数据挖掘与知识管理重点实验室 2019年人工智能发展白皮书

在德勤发布的 《德勤:人工智能发展脉络和技术报告》中,对自然语言处理技术的概念和发展做出了深度的释义。该报告指出,所谓的自然语言处理技术,是指计算机拥有的人类般文本处理的能力,比如,从文本中提取意义,甚至从那些可读的、风格自然、语法正确

的文本中自主解读出含义。一个自然语言处理系统并不了解人类处理文本的方式,但是它却可以用非常复杂与成熟的手段巧妙处理文本,例如自动识别一份文档中所有被提及的人与地点;识别文档的核心议题;或者在一堆仅人类可读的合同中,将各种条款与条件提取出来并制作成表。以上这些任务通过传统的文本处理软件根本不可能完成,后者仅能针对简单的文本匹配与模式进行操作。

请思考一个老生常谈的例子,它可以体现自然语言处理面临的一个挑战。在句子“光阴似箭(Time flies like an arrow)”中每一个单词的意义看起来都很清晰,直到系统遇到这样的句子“果蝇喜欢香蕉(Fruit flies like a banana)”,用“水果(fruit)”替代了“时间(time)”,并用“香蕉(banana)”替代“箭(arrow)”,就改变了“飞逝/飞着的(like)”与“像/喜欢(like)”这两个单词的意思。

因为语境对于理解“time flies(时光飞逝)”和“fruit flies(果蝇)”的区别是如此重要,所以AI在自然语言处理技术的实际应用领域相对较窄,这些领域包括分析顾客对某项特定产品和服务的反馈、自动发现民事诉讼或政府调查中的某些含义、以及自动书写诸如企业营收和体育运动的公式化范文等。AI在商务领域语言处理技术的运营,更是需要从业者在纵深领域长达数十年的深耕细作,结合市场与行业内的实践范例,打造核心技术和核心竞争力,方能立于竞争不败之地。

人工智能的核心是算法和数据

德勤发布的又一报告《2019全球人工智能发展白皮书》中阐述的观点表明,人工智能核心是算法。作为人工智能的底层逻辑,算法是产生人工智能的直接工具。从历史的进程来看,人工智能自1956年提出以来,经历了三个阶段,这三个阶段同时也是算法和研究方法更迭的过程。

至今,数据量、计算力的大幅度提升,帮助人工智能在机器学习,特别是神经网络主导的深度学习领域得到了极大的突破。基于深度神经网络技术的发展,才逐渐步入快速发展期。

此外,该报告认为,数据是人工智能底层逻辑中不可或缺的支撑要素,没有数据针对人工智能的数据处理将无法进行。有了数据挖掘对数据的清晰、集成、归约等预处理手段,人工智能才能拥有足够的数据进行学习。随着人工智能技术的迭代更新,从数据生产、采 集、储存、计算、传播到应用都将被机器所替代。

AI翻译的关键成功要素

AI翻译要“地道”,技术不是关键,翻译界老将何恩培曾讲:“机器翻译一直被公认为人工智能领域最难的课题之一。而且语言背后的多元文化和复杂社会属性,注定了语言规则不可能规律化”。但是,中国有句老话:勤能补拙。对于AI翻译而言,最难的不是技术,而是“语境”理解,而AI翻译能力的级别高低又体现在这,集中体现了平台喂养语料的资源状况。AI翻译能否“地道”,取决于以下几点。

  • 训练数据库的内容整体优质程度
  • 开放平等的中外数据交流,或可加强AI的深度学习
  • 需要准备大量的垂直领域专业用语及行业语料

易境商 Webinterpret 专业解决方案

Webinterpret是一家总部在欧洲的Saas软件公司、作为ebay官方指定的欧洲和日本跨境卖家唯一翻译类服务商,于2016年在中国开展业务。在上一篇章,笔者提到了AI翻译关键成功要素的分析,而易境商,恰恰具备所有成功要素:

  • 欧洲200人以上多语言专家不断优化翻译算法、训练数据库和极其学习,提升翻译质量 ,真正实现了人工+AI翻译,达到电商垂直领域专业水准
  • 累计翻译超过5000万个产品、积累了大量的电商平台(eBay, Amazon, C-Discount)多语言电商语料和关键词,同时,结合算法构造虚拟电商语境、奠定高质量翻译基础
  • 解决了其他翻译工具(谷歌翻译等)的呆板性,和遇到专有名词和品牌词语反复纠结和过度翻译的痛点,可灵活设置和规避禁售商品、跳开不翻译专有名词,体现了Saas软件的灵活性和柔性等优势

参考文献与数据来源

数据来源:

1.人工智能翻译 OR 人工翻译? 北外翻译社 2018-04-17 https://mp.weixin.qq.com/s/tJ99F7CkErwWtn7NHr0ndA

  1. 2018年语言服务业发展关键词 华也国际CSOFT 2017-12-29  https://mp.weixin.qq.com/s/oqExUY0Q-0g0jAlo_YTDiA
  2. 大数据时代的大翻译CSOFT2016-01-15  https://mp.weixin.qq.com/s/5MIiACt2Zh9nPjQ_a4_75g
  3. 埃森哲 《人工智能报告:规模化》
  4. 德勤 《德勤:人工智能与商业应用》
  5. 中国科学院大数据挖掘与知识管理重点实验室 《2019年人工智能发展白皮书》
  6. 德勤 《2019全球人工智能发展白皮书》

8.《人工智能在电子商务行业的应用和对就业影响研究报告》,Ali Research 阿里研究院 ,CDFR 中国发展研究基金会

  1. 《全球跨境电商营销白皮书》Forrester Consulting 思想领导力研究报告 委托方:Facebook 2018 年 6 月
  2. 麦肯锡 《2017人工智能影响中国报告》,McKinsey&Company, McKinsey GLOBAL INSTITUTE, ARTIFICIAL INTELLIGENCE: IMPLICATIONS FOR CHINA DISCUSSION PAPER PRESENTED AT THE 2017 CHINA DEVELOPMENT FORUM,Dominic Barton | London Jonathan Woetzel | Shanghai Jeongmin Seong | Shanghai Qinzheng Tian | Beijing
  3. 2018人工智能之机器翻译研究报告AMiner清华-中国工程院知识智能联合实验室2018年5月