4月24日,由中国软件行业协会主办的第三届中国国际软件发展大会暨中国软件行业协会成立40周年纪念活动在北京召开。本次大会以“智能时代的软件产业”为主题,聚焦软件根技术、开源软件和生成式人工智能对全行业的根本性变革,探讨数据要素和未来产业对全行业的深远影响,并回顾中国软件产业40年发展历程,引领整个软件行业做一次深刻的总结,重装上阵再出发。大会设置开幕式、高峰论坛等环节,邀请两院院士、领军企业代表、相关行业机构代表、高校专家等到会。
国家卓越工程师、百度首席技术官王海峰致辞。以下是发言实录:
大家上午好,非常荣幸参加今天的大会,今天和大家分享的题目和大会主题很契合,想分享我对智能时代操作系统的认识。
人工智能已经成为新一轮科技革命和产业变革的重要驱动力量,最近几年快速发展的大模型也让人看到通用人工智能的曙光。
说智能时代,先回顾大家非常熟悉过去四十年发展传统的IT技术栈,以芯片为代表的算力到操作系统,到应用。智能时代我认为仍然会有类似,仍然有芯片为代表的算力,应用仍然是最终的目的。深度学习框架下接芯片、上承应用,很大程度上起到操作系统的应用,近几年快速发展的大模型越来越独立,这层可以正好地承接应用。我认为在智能时代,深度学习框架再加上大模型,可以起到下接芯片、上承应用的操作系统作用,百度这些年在着力开发,框架层是飞桨。
通常深度学习包括不同的模块,开发大家知道分动态图、静态图,飞桨同时兼顾动态图的灵活和静态图的高效,我们做了同时支持静态图和动态图的开发模式我们要支持大规模的训练,5、6年以前可以支持万亿级参数的训练。同时,训练要有大量的数据,也要做产业级数据处理的支持,而模型训练出来在用的时候,需要涉及多端、多平台的推理部署。有深度学习框架,可以基于这样的框架开发智能时代的各种技术和应用,但为了让开发更便捷、更低门槛,需要提供大量的模型库,深度学习平台第二层是基础模型库,再往上需要提供端到端的开发套件和工具组件,方便广大开发者来用,同时有学习和实训社区,帮助大家在里面学习和实践。
高效训练的时候,需要端到端自适应异构分布式的训练架构,实现多维混合的并行训练。而在推理部署阶段,涉及大模型的压缩、推理、服务部署全链条的协同优化。很重要的一点,刚才我说下接芯片,需要和硬件有很好的适配、接入,开发一整套硬件接入方案,降低大模型的硬件适配成本,像飞桨这样的平台几乎适配国内外所有的主流芯片。
接下来汇报大模型。其实大模型百度发布文心1.0是四年前,到现在已经到4.0。完整的文心大模型既包括大家非常熟悉的自然语言处理相关的大语言模型,也包括视觉、跨模态、生物计算等各方面的模型,同时包括配套的工具平台,比如用于数据的标注和处理、大模型的精调压缩等。
过去1年半的时间,最受关注的大模型是大语言模型,我们开发的大语言模型是文心一言,除了通常大家开发大语言模型都有的技术,比如预训练、监督精调、人类反馈强化学习等技术,还包括知识增强、检索增强和对话增强。去年10月进行升级,加入智能体。
知识增强,可以让模型训练效率更高,知识其实对人类很重要,知识的凝练和传承推动人类不断地进步。经过十余年的积累,已经开发了包含5500亿条知识的知识图谱,通过知识的内化和知识的外用技术,使得我们既可以发挥大模型本身从大数据学习的能力,同时也可以从知识里学习,更好地利用知识。
检索增强,大模型会有“幻觉”,同时有时效性问题,通过检索增强,可以很好地缓解“幻觉”,同时大幅提升时效性。
基于前面提到的知识增强和检索增强,进一步细化到知识点增强,既包括在模型生成之前可以做更好的理解和知识的查找,把它组装进体式让模型生成,模型生成之后可以进一步进行反思和确认,使得结果更加准确。知识来源既可以包括通用搜索引擎,也包括知识图谱以及专有数据库,尤其企业应用的时候,可以对接企业的数据库。 现在的模型有很强的对话能力,对话增强方面也有不少工作,时间关系不详细和大家分享。
接下来分享智能体,我们知道人的思考系统分系统1和系统2,系统1很快速,但是可能会出错,系统2相对慢,但是可以更可靠地执行,并且能进化,使得思考过程的白盒化。我们开发了包括理解、规划、反思和进化的系统2。系统2里核心的是要训练思考模型,在通用大模型基础上要进行思考过程的有监督训练、行为决策的偏好学习以及结果反思的增强学习。
有个具体的例子,中间的部分是系统内部思考的过程,比如收到需求,它会想需要干什么、需要调用什么工具、得到什么样的结果,非常完整的过程。同时可以自动地阅读每个工具的说明书,自己学会调用这些工具。
代码也是很重要的部分,时间关系无法详细讲。大模型现在既学习人类的自然语言,同时也学习以代码为代表的形式语言,同时具备这两种能力,我们开发代码的智能体,使得没学过写代码的人也可以通过自然语言的方式写代码。智能代码助手可以帮助专业的程序员高效写出专业的代码。这是基本原理,有代码的解释器,可以做代码的生成和执行。
这是我们的真实例子,在文心一言网页的工具版里面,自动告诉它我要做什么,将大会的请帖自动生成、自动地命名、打包,提交给用户。整体来讲,Comate这样的代码智能助手采纳率达到46%,百度每天新增代码里有27%来自Comate。
刚才讲到深度学习框架飞桨,讲到大模型文心,它们之间联合优化非常重要。过去1年多的时间,通过联合优化训练效率是1年前的5.1倍,推理性能是1年前的100多倍。飞桨和文心这样完整的生态积累1295万的开发者,服务24.4万的企业,创建89.5万个模型。
我们一起在智能时代加速推动人工智能的发展,实现高水平科技自立自强,谢谢大家。
(声明:所有会议实录均为现场速记整理,未经演讲者审阅,国际在线登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。)
1、“国际在线”由中国国际广播电台主办。经中国国际广播电台授权,国广国际在线网络(北京)有限公司独家负责“国际在线”网站的市场经营。
2、凡本网注明“来源:国际在线”的所有信息内容,未经书面授权,任何单位及个人不得转载、摘编、复制或利用其他方式使用。
3、“国际在线”自有版权信息(包括但不限于“国际在线专稿”、“国际在线消息”、“国际在线XX消息”“国际在线报道”“国际在线XX报道”等信息内容,但明确标注为第三方版权的内容除外)均由国广国际在线网络(北京)有限公司统一管理和销售。
已取得国广国际在线网络(北京)有限公司使用授权的被授权人,应严格在授权范围内使用,不得超范围使用,使用时应注明“来源:国际在线”。违反上述声明者,本网将追究其相关法律责任。
任何未与国广国际在线网络(北京)有限公司签订相关协议或未取得授权书的公司、媒体、网站和个人均无权销售、使用“国际在线”网站的自有版权信息产品。否则,国广国际在线网络(北京)有限公司将采取法律手段维护合法权益,因此产生的损失及为此所花费的全部费用(包括但不限于律师费、诉讼费、差旅费、公证费等)全部由侵权方承担。
4、凡本网注明“来源:XXX(非国际在线)”的作品,均转载自其它媒体,转载目的在于传递更多信息,丰富网络文化,此类稿件并不代表本网赞同其观点和对其真实性负责。
5、如因作品内容、版权和其他问题需要与本网联系的,请在该事由发生之日起30日内进行。