文|智能相对论
作者| 叶一城
野火燎原,openAI搞出的chatGPT大有当年alphaGo的架势,搅动整个AI业界春心荡漾。
从openAI的大金主微软,到昔日明星alphaGo的爸爸Google,都火急火燎地要出来表态——前者要彰显主权并在内部全面应用,后者作为全球AI领头羊怎么能失了对称的地位,要发布对应的产品。
国内科技圈自然也发扬了闻风而动的优良品格,在元宇宙概念疲软后,有关的没关的都纷纷贴上来。股市上各种妖魔鬼怪横行,对于上涨,某些董秘的回复中,否定或许还带着捡漏的窃喜。
而“AI大户”百度在宣布发布类似的产品“文心一言”后,股价也立刻上涨。
股民们冤不冤?这次可能不太冤,因为就“中国版ChatGPT”而言,不管腾讯、阿里怎么站位的,某种程度上百度确实最有技术资格,也最能从ChatGPT的落地应用中获得现实的商业价值。
判断谁能在技术的风口上占便宜,第一步永远是先看技术的本质。
ChatGPT从产品形态上,是“一个使用自然语言处理技术实现和人类互动对话的产品”,而其内在本质,就是一个预训练大模型。所谓“大”,就是在巨量到一般人无法想象的数据训练下拥有庞大的参数规模,因为“大”而见识多,博学多才,任何领域都懂,只要稍微调教一下就能出产特定场景的应用。
ChatGPT并不是一次性发展而来的,其属于openAI的一系列预训练模型,所谓GPT,即Generative Pre-Trained Transformer,就是通过Transformer为基础模型,使用预训练技术得到通用的文本模型。从已经公布的论文看,从2018年起,GPT家族已经先后拥有GPT-1,GPT-2,GPT-3,以及图像预训练iGPT等模型,而目前火得一塌糊涂的ChatGPT,更像是一个GPT-4之前的过渡版本GPT-3.5,因为强大的对话能力突然爆火起来。
不同的是,ChatGPT采用了新的指示学习(Instruction Learning)和人工反馈的强化学习(Reinforcement Learning from Human Feedback,RLHF)来指导模型的训练,前者为ChatGPT带来理解能力,后者通过人工标注反馈的方式来增强模型的效果,实现GPT的进化。
在一系列进化下,ChatGPT的参数总量与GPT-3一致,达到了1750亿,实现了从GPT-2的15亿的跳跃。
说到底,ChatGPT就是一个积累已久、有着特殊训练方式的大模型,它的发展是有技术进化路线的。
而“巧合”的是,百度大力投入的产业级知识增强文心大模型ERNIE,具备跨模态、跨语言的深度语义理解与生成能力,其技术演进几乎走出了同样的进程。
早在2019年3月,百度就做出了文心 ERNIE 1.0,这一技术创新与“同类”GPT-1、BERT的差距都只有几个月,而且百度积累的大规模知识和海量多元数据,让文心得以快速发展——搜索业务给大模型所需要的庞大数据训练量带来了天然的便利。
例如,在文心的发展过程中,2021年,ERNIE 3.0大模型即拥有千亿参数;与超强算力方联合的鹏城-百度·文心作为一款融合了自然语言理解和自然语言生成的大模型,其参数量达到了2600亿,相对GPT-3和ChatGPT提升了50%。
去年9月,百度CEO李彦宏判断人工智能发展在“技术层面和商业应用层面,都有方向性改变”。据推测,百度那时候就开始做文心一言。
除了参数规模扩大、能力增强,文心与ChatGPT一样,也在适应不同需要进行技术进化。目前文心大模型总量已经有36个,以其中的知识增强轻量级大模型ERNIE 3.0 Tiny为例,该模型能够通过多任务知识蒸馏手段将千亿多任务大模型的所学迁移至轻量级模型中,训练了10亿级、亿级、千万级不同体量大小的轻量级大模型,实现了优秀的泛化能力。
回过头来看,百度在技术上一直在做与GPT相同的事,但是晦涩的技术决定了它始终缺乏足够的曝光度,直到大洋彼岸的ChatGPT突然搞出了“大新闻”,举起了旗帜,于是,这就成了百度彰显自身技术能力的契机。
从GPT-3到ChatGPT,与从“文心”到“文心一言”(英文名ERNIE Bot)的命名方式,也“惊人巧合”——原本就是一样的技术迭代过程罢了,百度之所以3月就能马上做出来,甚至按目前的节奏内测还可能提前,原因就在于ChatGPT要的那些技术百度都有,产品上再加入对话算法等,很快就能对齐。
至少在NLP领域,目前国内还没用企业能够看齐百度。
而在现实价值方面,实际上ChatGPT做的各种对话、各种辅助功能,都与百度的业务线较为契合,无论是内部的搜索+信息流,还是对外提供的诸如智慧城市等B端解决方案中,都能得到很好的利用。
尤其是,AI与搜索的契合一直是百度近些年的努力方向,以传统精确搜索为主、“文心一言”的工具型搜索为辅的方式,也更符合未来搜索的形态。
当然,其他辅助的,比如芯片(算力相关)、开发框架(飞桨),百度也都有成熟的“基建配套”了,
不过,百度面临的问题还是那个老生常谈的话题:能不能持续投入下去,等待真正的商业价值回报?毕竟,ChatGPT吹得再响,现实的问题肯定少不了,得有一个成熟的过程。
说白了,在没有进入强人工智能时代,ChatGPT再厉害其本质也只是“小孩学舌”,学得更多当然就更像,但也只是“知其然不知其所以然”。
这不是说小孩学舌就没有用,能够学起来很像、能解决一些问题,价值也很大。只不过,带过孩子的都知道,小孩学舌在面临认知问题时,会出现很多逻辑尴尬。
目前ChatGPT在一些对话上就出现了这个问题,例如解一道简单的数学题,能给你扯一大堆,但结果就是不对。又例如很多专业领域的会话,和官样文章一样看似内容很多、逻辑严密,但就是言之无物。
一些程序界大佬惊呼ChatGPT的健壮性远超人类,要开除外包程序员,实际危言耸听。所谓健壮性无非就是设定规则的执行,就像数数,人从0数到300,肯定容易出错,机器数,当然就不会出错,没啥好惊奇的。
无论如何,ChatGPT还有一些路要走,最有资格也最能得益的百度,在风潮面前仍然要咬牙继续坚持才好,这其中的投入或许会更大。
*本文图片均来源于网络
此内容为【智能相对论】原创,
仅代表个人观点,未经授权,任何人不得以任何方式使用,包括转载、摘编、复制或建立镜像。
部分图片来自网络,且未核实版权归属,不作为商业用途,如有侵犯,请作者与我们联系。
•AI产业新媒体;
•澎湃新闻科技榜单月度top5;
•文章长期“霸占”钛媒体热门文章排行榜TOP10;
•著有《人工智能 十万个为什么》
•【重点关注领域】智能家电(含白电、黑电、智能手机、无人机等AIoT设备)、智能驾驶、AI+医疗、机器人、物联网、AI+金融、AI+教育、AR/VR、云计算、开发者以及背后的芯片、算法等。
申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!
2023年7月6日,第六届世界人工智能大会(WAIC2023)在上海开幕,“人工智能大模型”是本届大会的备受瞩目的话题,据悉,在昇腾AI大模型的创新研发中,华为联手26家行业领军企业,组建了一支协同创新的“AI明星队”,云天励飞作为中国人工智能企业的杰出代表,和互联网大厂、运营商、科研院所等优秀团队
这几个月来,以ChatGPT为代表的生成式AI展现出的能力令世界惊叹。自从2016年AlphaGo战胜李世石掀起了一波AI浪潮后,AI仿佛已经沉寂了很久,ChatGPT的横空出世就如同一束耀眼的光芒,让AI这个名词重回C位。过去在AI1.0时代,主要通过训练模型来实现图像识别、声音识别、语言处理等特
文:互联网江湖作者:志刚2023年的IoT需要一个新故事。6月29日,涂鸦智能在开发者大会上,发布了企业级战略PaaS2.0,希望通过一个平台+四大开发服务,建立起IoT生态。对于这场发布会,市场的态度是积极的。美东时间6月29日收盘,涂鸦智能美股股价上涨5.6%,来到1.87美元/股。近日股价稳定
2020年底,王慧文在朋友圈写下这句话时,外界本以为这位伴随中国互联网发展而持续创业20年的人物即将告别创业舞台。但是,一个曾经多次创业,正值壮年的互联网老将心中的创业热情是难以熄灭的。
苹果16弄了两个版本,一个是专门给中国人用的,准备用百度的AI,还要交钱。第二个是全世界都可以用的,用了ChatGPT,包括台湾、香港、澳门都可以用。以后都这样了。好,问题就出在这,苹果和百度的合作出现问题了,新闻连起来看,才能明白其中含义。新闻一:苹果正在和腾讯、字节初步接洽,考虑将二者的AI模型
“技术日新月异,人类生活方式正在快速转变,这一切给人类历史带来了一系列不可思议的奇点。我们曾经熟悉的一切,都开始变得陌生。”计算机之父约翰·冯·诺依曼曾这样说到。
“人工智能的商业模式,是要创造一个市场,而非一个算法”。这是世界AI泰斗MichaelI.Jordan的观点。而当前的全球AI市场,占据主导地位的中美双方,却也走出了两条截然不同的技术路径,前者执着于前沿技术的探索,后者则发力应用优化和商业化落地。南辕北辙的两个方向,或许已经无法直接进行排位先后、优
智能体进化发展了一年,现在的RPAAgent迭代到什么程度了?从实在智能最新发布的实在Agent7.0,看RPAAgent的迭代升级抓取豆瓣信息、自己制作PPT,这款AIAgent真的实现了流程全自动化AIAgent构建到执行全自动化,持续进化RPAAgent再次降低智能体应用门槛实在智能重磅发布实
崔大宝|节点财经创始人进入2024年,大模型似乎有熄火之势:资本市场,与之关联的概念炒不动了,英伟达股价动辄暴跌重挫,引发“泡沫戳破”的担忧;消费市场,BATH们的推新活动少了,产品更新迭代的速度慢了,民众的关注度降了……热闹的大概只剩下两场酣仗:自5月15日字节跳动宣布“以厘计费”,打响国内大模型
文|智能相对论作者|陈泊丞好消息!你心心念念的事业单位发录取公告了!坏消息!他们没录你,录了个数字人。图片来源网络随着数字人技术的突破,越来越多的传统企业和机构开始用上了“数字员工”。甚至很多中国人心心念念的“铁饭碗”,也被这些数字人给捧上了。数字人捧上了“铁饭碗”简单翻看一下全国各地事业单位的“录
黑芝麻智能敲钟后,港交所门口又有一些智驾芯片企业引发关注。据悉,近日地平线已通过中国证监会IPO备案,拟发行不超过11.5亿股境外上市普通股并在香港联合交易所上市,预计筹集约5亿美元资金。从天眼查可以了解到,该公司成立于2015年,是一家乘用车高级辅助驾驶(ADAS)和高阶自动驾驶(AD)解决方案供
8月21日,万众瞩目的2024世界机器人大会暨博览会在北京亦创国际会展中心盛大开幕。这场为期5天,集“展览”“论坛”“赛事”于一体的机器人盛会,反映了当下机器人领域的繁荣生态。据官方统计数据,今年现场逛展观众高达25万人次,比去年增加25%。机器人行业有多火?看看2024世界机器人大会火爆程度便可知