欢迎来到进口食品商务网!

据十几名参与Alexa研发的员工说,亚马逊是如何毁掉Alexa主导人工智能的机会的

2024-07-04 19:51 来源:本站编辑

“Alexa,我们聊天吧。”

2023年9月,时任亚马逊设备和服务主管的大卫·林普(David Limp)用这句话展示了该公司标志性语音助手Alexa的新生成式人工智能版本。

在这家总部位于西雅图的科技巨头位于华盛顿特区郊区的豪华第二总部举行的一场座无虚席的活动中,林普向满屋子的记者和欢呼的员工展示了新款Alexa。

他展示了数字助理如何回应新的触发短语“Alexa,让我们聊天吧”,而不是数亿人已经习惯与之沟通的那种友好但机器人的声音,这种声音要自然得多,更具对话性。

利普问亚历克莎他最喜欢的足球队——范德比尔特大学——表现如何。Alexa展示了它如何用欢快的声音回应,以及如何给他的朋友写一条信息,提醒他们观看即将到来的范德比尔特足球比赛,并将其发送到他的手机上。

该公司表示,新的Alexa LLM将很快在美国的Alexa设备上提供免费预览。亚马逊高级副总裁兼Alexa负责人罗希特·普拉萨德(Rohit Prasad)表示,这一消息标志着“我们喜爱的助手发生了巨大转变”,并将新的Alexa称为“超级代理”。

很明显,该公司想要反驳现有Alexa缺乏智能的看法。(据报道,微软首席执行官萨蒂亚·纳德拉在2023年3月OpenAI的ChatGPT迅速成名时称其为“蠢得像石头”)。

但在活动结束后,无线电静默——或者数字助理静默,视情况而定。在全球已售出的5亿部设备上,传统的Alexa语音从未改变过,在未来几个月里,关于新的生成式人工智能Alexa的消息很少,除了最近有报道称,它可能在今年晚些时候推出,其中可能包括订阅费。

根据对十几名曾为Alexa开发人工智能的前员工的采访,原因是亚马逊受到结构失调和技术挑战的困扰,这些问题一再推迟了新一代人工智能Alexa的交付。总的来说,这些前员工描绘了这样一幅图景:在推出人工智能聊天机器人和代理的竞赛中,这家公司远远落后于其大型科技竞争对手谷歌(Google)、微软(Microsoft)和textarea,而且在追赶上举步维艰。

前雇员强调,2023年9月的演示只是一个演示。新的Alexa还没有准备好在黄金时段推出,现在仍然没有。Alexa大型语言模型(LLM)是新Alexa的核心,亚马逊将其定位为与OpenAI的ChatGPT相抗衡,但根据前员工的说法,它远不是最先进的。

参与法学硕士项目的研究科学家表示,亚马逊没有足够的数据,也无法获得运行法学硕士所需的专用计算机芯片,无法与OpenAI等公司的竞争对手竞争。

前员工表示,亚马逊还一再放弃新款Alexa的优先级,转而为亚马逊的云计算部门AWS构建生成式人工智能。虽然亚马逊与人工智能初创公司Anthropic建立了合作关系,并投资了40亿美元(188.4亿令吉),后者的法学硕士模型Claude被认为与OpenAI的模型具有竞争力,但亚马逊一直无法利用这种关系来打造更好的Alexa。

前员工说,隐私问题让Alexa的团队没有使用Anthropic的克劳德模型,但亚马逊以自我为导向的内部政治也是如此。

亚马逊的一位发言人表示,前研究科学家为这篇报道提供的细节已经“过时”了——尽管其中许多人在过去六个月里离开了公司——并不能反映Alexa法学硕士的现状。她补充说,该公司可以访问数十万个gpu和其他人工智能专用芯片。

她还反驳了Alexa被剥夺优先权的说法,以及出于隐私考虑,Anthropic的克劳德被禁止使用的说法,但她拒绝提供克劳德在新Alexa中使用的证据。

虽然亚马逊在更新Alexa方面的努力是独一无二的,但该公司面临的挑战表明,企业要改造基于旧技术的数字助理,使其融入生成式人工智能是多么困难。苹果在将人工智能融入其产品(包括其数字助理Siri)方面也面临着类似的困难。

Siri和Alexa有着相似的技术血统——事实上,Siri在2011年10月推出,比Alexa早三年。与亚马逊一样,苹果在构建支撑当今生成式人工智能的大规模语言模型所需的人工智能专业知识方面投资不足,在构建此类模型所需的专用计算机芯片——庞大的图形处理单元(gpu)集群方面投资不足。和亚马逊一样,苹果也已经下定决心,但姗姗来迟地奋起直追。

苹果在本周早些时候的WWDC大会上发布了一系列备受期待的公告,朝着在生成式人工智能竞赛中收复失地迈出了一大步。首次亮相包括对Siri的重大升级,包括更自然的声音和潜在的“屏幕感知”,这最终将允许Siri在应用程序之间采取更多类似代理的行动。苹果还宣布了Siri与ChatGPT的集成。苹果的声明只会加大亚马逊推出新款Alexa的压力。

不幸的是,越来越多的证据表明,亚马逊并没有为这场新的数字助理之战做好准备——尽管许多人认为该公司已经完全有能力将Alexa带入生成式人工智能时代。

昨天,Mihail埃里克,Alexa前机器学习高级科学家AI,走上X(原名Twitter)说:在一篇题为“Alexa如何把球掉在这个星球上高层对话系统”,埃里克,离开了亚马逊在2021年7月,指出,Alexa已经售出了超过5亿台设备,“这是一个令人难以置信的用户数据护城河,”,“我们所有的资源、人才和动力成为明确的市场领袖对话AI”。

但他表示,大部分技术从未见过天日,因为Alexa人工智能“充斥着技术和官僚主义问题”。《财富》杂志(Fortune)在过去一个月采访了十几名前员工,他们的说法与埃里克的说法一致,并为这家“万物公司”未能做到这一点提供了更多细节。为了避免违反他们签署的保密协议或不贬低条款,这些前雇员匿名发表了讲话。

亚马逊Alexa被ChatGPT打了个措手不及

早在2022年11月ChatGPT惊艳世界之前,亚马逊的Alexa就已经问世了。这款数字助手于2014年与Echo智能音箱一起推出,后者是其硬件接口。亚马逊表示,这款数字助理的灵感来自《星际迷航》中出现的无所不知的电脑(亚马逊创始人杰夫·贝佐斯是《星际迷航》的忠实粉丝)。

该产品迅速受到消费者的欢迎,到2017年销量超过2000万台。但Alexa并不是建立在使ChatGPT具有开创性的AI模型和方法之上的。相反,它是一组小型机器学习模型和数千条手工制作和硬编码的规则的集合,这些规则将用户的话语转化为Alexa所执行的动作。

亚马逊一直在试验一些早期的大型语言模型——它们都比GPT-3和GPT-4小得多,这两个模型是OpenAI用来为ChatGPT提供动力的——但它们还远没有准备好在产品中部署。前员工表示,ChatGPT于2022年11月下旬推出后,该公司被生成式人工智能热潮打了个措手不及。

接下来的几个月,亚马逊(Amazon)的Alexa部门努力将这个数字助理从一个呆板的命令-动作机器人转变为一个真正能与人对话的、有帮助的代理。非生成式人工智能项目一夜之间被取消了优先级,在整个2022年圣诞节期间,高管们敦促亚马逊的科学家、工程师和产品经理想出如何确保亚马逊为客户提供生成式人工智能产品。

一位前Alexa人工智能项目经理将公司的气氛描述为“有点恐慌”。亚马逊的回应几乎立刻就遇到了麻烦,因为Alexa和AWS内部的各个团队未能围绕一个统一的计划达成一致。

Alexa人工智能项目经理表示,在新冠疫情爆发后,许多员工仍在远程工作,导致人们无休止地“挤在电话会议上,讨论战略性prfaq的细节”(亚马逊对早期提出产品创意时使用的书面文件的说法)。他说,公司艰难地“从和平时期转向战时模式”。

Alexa的一位高级数据科学家表示,这尤其令人沮丧,因为早在2022年中期,他就试图对即将到来的生成式人工智能浪潮发出警报,收集数据以显示他的董事级领导能力,但他表示,他无法说服他们公司需要改变其人工智能战略。他解释说,只有在ChatGPT推出后,公司才开始行动。

问题是,正如数亿人从他们与Alexa的生硬对话中意识到的那样,这款助手不是为来回对话而设计的,也从来没有主要用于来回对话。相反,它总是专注于Alexa组织所说的“话语”——诸如“天气怎么样?”或者“开灯”,人们会对Alexa吠叫。

在ChatGPT推出后的头几个月,还不清楚法学硕士是否能够从自然对话中触发这些现实世界的动作,一位在Alexa团队实习的博士研究科学家说。

他说:“法学硕士可以在你说‘我看不见,把灯都打开’的时候‘打开灯’的想法还没有得到证实。”“所以领导层内部显然有宏伟的计划,但他们并不真正知道自己在做什么。(现在人们普遍认为,法学硕士可以(至少在理论上)与其他技术相结合来控制数字工具。)

相反,团队正在研究如何在飞行中实现生成AI。这包括创建合成数据集——在这种情况下,是计算机与聊天机器人生成的对话集——他们可以用这些数据集来训练法学硕士。当没有足够的真实世界数据来提高人工智能的准确性时,或者当需要隐私保护时,那些构建人工智能模型的人经常使用合成数据——记住,Alexa团队拥有的大多数数据都是简单的、说明性的“话语”。

一位前亚马逊机器学习科学家表示:“(顾客)用Alexa的语言交谈。”“所以现在想象一下,你想鼓励人们用从未发生过的语言说话——那么你从哪里获得数据来训练模型呢?你必须创造它,但这会带来很多障碍,因为人们可以用无数种方式表达同一件事。”

此外,虽然Alexa已经集成了数千种第三方设备和服务,但事实证明,法学硕士在处理这种集成方面并不擅长。一位曾负责Alexa智能家居功能的前Alexa机器学习经理表示,即使是OpenAI最新的GPT 40模型或最新的Google Gemini模型(这两种模型都能够使用语音,而不仅仅是文本),也很难从语音对话切换到使用其他软件执行任务。这需要所谓的API调用,而法学硕士在这方面做得并不好。

“它不够一致,会产生幻觉,出错,当你连接到许多不同的设备时,很难建立一种体验,”这位前机器学习科学家说。

随着2023年的春天被夏天所取代,Alexa的许多员工仍然不知道这个数字助理将如何迎接生成式人工智能的时刻。前雇员说,这个项目缺乏远见。

其中一人表示:“我记得我和我的团队向上级抱怨了很多次,说我们的愿景不透明——我们到底要推出什么不透明。”

另一位前经理表示,在9月份演示之前的几个月里,就有人谈到了新的Alexa法学硕士,但目前还不清楚这意味着什么。“我们听到的只是,‘哦,是的,这就要来了,’”他说。“但我们不知道它是什么,也不知道它会是什么样子。”

Alexa LLM演示不符合“去/不去”标准

2023年9月的Alexa演示似乎表明,新的Alexa LLM即将广泛推出。但一名前员工表示,基于新语言模型的Alexa最终“没有达到可以/不可以的标准”。法学硕士以产生幻觉和有时有毒的内容而闻名,亚马逊的法学硕士也不例外,这使得广泛发布具有风险。

前员工说,这就是Alexa的“让我们聊天”功能从未广泛发布的原因。一位前经理表示:“很难让人工智能足够安全,并测试黑匣子的各个方面,然后发布它。”

他指出,2023年9月的演示涉及的功能与Alexa最出名的功能不同,即接受命令并执行命令。确保Alexa仍然可以执行这些旧功能,同时启用新Alexa承诺的会话对话,这不是一件容易的事。

这位经理说,他越来越清楚,该组织至少暂时需要维持两种完全不同的技术堆栈——一种支持Alexa的旧功能,另一种支持新功能。但他说,经理们不想考虑这个想法。

相反,当他在2023年11月被解雇时,公司发出的信息仍然是“我们基本上需要与旧的Alexa人工智能模型断交,只专注于开发新模型”。

即使新的Alexa LLM推出举步维艰,亚马逊的高管们也设定了更高的生成人工智能目标。就在演示之前,曾担任Alexa首席科学家的亚马逊高级副总裁普拉萨德被提升为一个新角色,旨在将公司不同的研究团队整合到一个保护伞下,目标是开发人类水平的通用人工智能(AGI)。

此举使亚马逊与OpenAI、谷歌DeepMind和Anthropic等公司直接竞争,这些公司的创始使命是创建AGI。textarea首席执行官马克·扎克伯格最近也表示,创建AGI也是他公司的使命。

到2023年11月,有消息称亚马逊正在投资数百万美元来训练一个代号为奥林巴斯的人工智能模型,该模型将拥有2万亿个参数或可调变量。参数是模型大小和复杂程度的粗略近似值。奥林巴斯报告的参数数量将使它的大小是OpenAI最强大的型号GPT-4的两倍。

从事Alexa法学硕士研究的前科学家表示,奥林巴斯项目是“一个笑话”,并补充说,正在开发的最大模型有4700亿个参数。他还强调,目前的Alexa LLM版本与2023年9月演示中使用的1000亿个参数模型没有变化,但已经进行了更多的预训练和微调以改进它。(当然,1000亿个参数仍然是一个相对强大的模型。相比之下,textarea的美洲驼3有700亿个参数)。

由于缺乏数据,很难从法学硕士中“获得一些魔力”

在2023年9月的演示之后的几个月里,一位参与构建新Alexa法学硕士的前研究科学家回忆说,包括亚马逊生成式人工智能领导者罗希特·普拉萨德在内的Alexa领导层是如何推动团队越来越努力地工作的。

这位研究科学家说,这个信息是要从法学硕士中“获得一些魔力”。但是奇迹并没有发生。前雇员说,缺乏足够的数据是主要原因之一。

textarea的Llama 3是在15万亿个令牌上进行预训练的,这是LLM处理的最小数据单位。Alexa法学硕士只接受过3万亿次的训练。(与参数不同,参数是模型具有的可调设置的数量,令牌是模型在训练期间处理的小数据单元,例如单词)。

与此同时,“微调”人工智能模型——采用预先训练好的模型,并进一步磨练它以适应特定任务——也受益于比亚马逊现有数据集更大的数据集。textarea的羊驼3模型在1000万个数据点上进行了微调。这位前Alexa法学硕士研究科学家表示,亚马逊的AGI组织建立的法学硕士迄今为止只积累了大约100万个,只有50万个高质量数据点。

他解释说,造成这种情况的众多原因之一是,亚马逊坚持使用自己的数据注释者(负责标记数据的人,以便人工智能模型能够识别模式),而这种组织非常缓慢。他说:“因此,即使在开发模型一年之后,经过几轮之后,我们也永远无法从他们那里获得高质量的数据。”

两位消息人士告诉《财富》(Fortune),除了缺乏数据之外,Alexa团队还无法获得OpenAI、textarea和谷歌团队所拥有的大量最新的英伟达(Nvidia) gpu,这是一种用于训练和运行人工智能模型的专用芯片。“大多数GPU仍然是A100,而不是H100,”这位前Alexa LLM研究科学家补充说,他指的是英伟达目前可用的最强大的GPU。

他们表示,在亚马逊,打造新的Alexa有时会让位于其他可生成人工智能优先事项。ChatGPT推出后,亚马逊的主要重点是推出Bedrock,这是一项新的AWS云计算服务,允许客户在云中构建生成式人工智能聊天机器人和其他应用程序。该服务于2023年4月宣布,并于9月全面推出。AWS是亚马逊重要的利润来源。

另一方面,Alexa是一个成本中心——据报道,该部门每年亏损数十亿美元——它主要被视为一种保持客户与亚马逊互动的方式,也是一种收集数据的方式,可以帮助亚马逊及其合作伙伴更好地定位广告。

一位在过去几个月离职的前Alexa法学硕士科学家表示,亚马逊科学家正在构建的法学硕士(其中一个版本也将为Alexa提供动力)也将首先推广到AWS专注于业务的生成式人工智能助手Amazon Q上,因为该模型现在被认为足以用于特定的企业用例。Amazon Q还采用了Anthropic的Claude AI模型。但出于对数据隐私的担忧,Alexa的法学硕士团队不被允许使用Claude。

亚马逊的发言人表示,有关克劳德和隐私的说法是错误的,并对《财富》从多个渠道了解到的亚马逊法学硕士项目的其他细节提出了质疑。“说亚马逊Q的优先级高于Alexa是完全不准确的。说我们对Q和Alexa使用相同的LLM也是不正确的。”

官僚主义和基础设施问题阻碍了Alexa的人工智能发展

一名前Alexa AI员工雇佣了几名一直在开发新的Alexa法学硕士的员工,他表示,大多数人都提到了“感到筋疲力尽”的持续压力,因为要为不断推迟的发布做好准备,同时也因为其他工作被搁置而感到沮丧。他补充说,一些人也表达了越来越多的怀疑,即基于法学硕士的Alexa的整体设计是否有意义。

他说:“我听到的一个故事是,在项目早期,高级管理人员在试验了ChatGPT后变得过于自信,并且这种过度自信在一些高级领导中持续存在,他们继续朝着一个不现实的目标前进。”

另一位前Alexa LLM科学家表示,经理们设定了无法实现的最后期限。他说:“每次经理给我们分配与法学硕士相关的任务时,他们都要求我们在很短的时间内完成(例如,2天,一周),这是不可能的。”“领导层似乎对法学硕士一无所知——他们不知道他们需要多少人,也不知道要打造一个像ChatGPT这样成功的产品,完成每项任务的预期时间应该是多长。”

Alexa从未与杰夫·贝佐斯的“两个披萨团队”理念保持一致——也就是说,理想情况下,团队应该足够小,只用两个披萨就能满足整个团队的会议需求。贝佐斯认为,更小的团队能够推动有效的决策和协作。

相反,Alexa在历史上一直是——而且在很大程度上仍然是——一个巨大的部门。在最近一次裁员之前,该公司有1万名员工。虽然它现在的人数减少了,但它仍然被组织成大型的、孤立的领域,如Alexa家庭、Alexa娱乐、Alexa音乐和Alexa购物,每个领域都有数百名员工,以及主管和一名副总裁。

消息人士称,随着每个领域与新的Alexa LLM合作以制作生成人工智能功能的压力越来越大,每个领域都需要精度基准,这些领域发生了冲突,有时会产生适得其反的结果。

例如,一位研究Alexa Home的机器学习科学家回忆说,当他的领域正在研究如何让Alexa帮助用户控制灯光或恒温器时,音乐领域正忙于研究如何让Alexa理解非常具体的请求,比如“播放蕾哈娜,然后是图帕克,然后暂停30分钟,然后播放DMX”。

每个领域团队都必须与Alexa中心LLM团队建立自己的关系。“我们花了几个月的时间和那些法学硕士们一起工作,只是为了了解他们的结构,以及我们可以给他们提供哪些数据来微调模型,使其发挥作用。”每个团队都希望根据自己的领域目标对AI模型进行微调。

但事实证明,如果Home团队试图对Alexa LLM进行微调,使其更能解决Home问题,然后Music团队也来了,并使用他们自己的音乐数据对其进行微调,那么这个模型最终会表现得更差。

“灾难性遗忘”是所有深度学习模型都存在的问题,即一个模型在训练后期学到的东西会降低它在训练早期遇到的任务上的表现。这位机器学习科学家说:“随着它在音乐方面变得越来越好,(这个模型)在家庭方面可能会变得不那么聪明。”“因此,找到一个最佳点,你试图微调12个域名几乎是一种抽奖。”

如今,他补充说,法学硕士的科学家们知道,要创建一个功能丰富又灵活的模型,微调可能不是最好的技术——还有其他方法,比如即时工程,可以做得更好。但到那时,好几个月过去了,进展甚微。

一位前产品经理说,每个Alexa领域都有自己的领导者,想要保护和扩大自己的领地。她说:“这个组织已经变成了黑手党。”“比方说,如果我为你工作,我只是听从命令,因为同意你的意见符合我的最大利益。我最好不要在下次裁员时被裁掉——这太无情了。这对我最有利,因为你会帮我建立我的帝国。”

亚马逊表示,它信守对Alexa的承诺

亚马逊坚称,它完全致力于提供一个可生成的人工智能Alexa,并补充说,它的愿景仍然是打造“世界上最好的个人助理”。亚马逊的一位代表指出,支持Alexa的设备已经售出了5亿多台,客户每小时与Alexa互动数千万次。

她补充说,在数百万消费者欢迎的设备上,这种规模的技术实现带来了“巨大的责任——细节真的很重要”。虽然Alexa LLM的“让我们聊天”功能还没有向公众推出,但它已经在“持续的基础上”对一小群客户进行了测试。

但《财富》杂志采访的许多员工表示,他们离开的部分原因是,他们对新的Alexa永远不会准备好感到绝望,或者当它准备好时,它将被OpenAI等更灵活的竞争对手推出的产品所取代。这些公司不需要驾驭现有的技术栈,也不需要维护现有的功能集。

这位在过去一年中雇佣了几名离开Alexa组织的前雇员表示,许多人对Alexa LLM的推出持悲观态度。“他们只是没有看到这真的会发生,”他说。

《财富》采访的一些员工表示,亚马逊有可能最终推出一款基于法学硕士的Alexa,而且它将是目前Alexa的改进版。毕竟,世界上有数以亿计的Alexa用户,如果这个设备坐在他们的办公桌或厨房柜台上,除了执行简单的命令外,还能做更多的事情,他们肯定会很高兴。

但考虑到Alexa LLM项目面临的挑战,以及它与OpenAI和谷歌等生成式人工智能领导者的产品之间的差距,《财富》杂志采访的消息人士都不认为Alexa能实现亚马逊“世界上最好的个人助理”的使命,更不用说亚马逊创始人杰夫·贝佐斯创造现实版《星际迷航》电脑的愿景了。

相反,亚马逊的Alexa有可能成为一个警示故事的数字遗迹——一个可能改变游戏规则的技术,却陷入了错误的游戏中。- Fortune.com/The纽约时报

×

中国进口商网声明:未经许可,不得转载。
热门产品招商