互联网最新资讯在自然的巨浪中2457亿美元打造全球最强中文语言模型谁不想成为潮流的领跑者
在这场自然界的壮观盛宴中,2457亿美元的投资如同一股巨流,不断推动着全球最大中文语言模型——源1.0的成长。它不仅是人工智能领域的一次伟大飞跃,更是对人类创作潜力的深刻挑战。
据统计,有超过50%的人错误地认为那首诗歌出自于人类之手,但实际上,它是由源1.0这一巨量模型生成的。这一模型经过图灵测试认证,其写诗、写对联、生成新闻、续写小说等能力已经让人类平均误判率达到了50.84%,远超30%的标准,这意味着它几乎与人类平起平坐。
9月28日,浪潮人工智能研究院正式发布了源1.0,这是一款通过四个月研发而成,参数量达2457亿的大型预训练语言模型。其规模甚至超过了GPT-3约为1.4倍,为何如此庞大的数据集和计算力?答案在于其目标:打造更“博学”的AI能力,将来将聚合AI最强算力平台、最优质的算法开发能力,以更具备通用性的智能大模型成就行业AI大脑。
与其他国内外竞争者相比,如悟道· 文源 26 亿,阿里PLUG 270 亿;华为循环智能「盘古」1100亿,源1.0以2457亿参数量绝对领先,是单体中绝对王者。此外,它也是业界首个挑战并且使平均误判率超过50%的大型语言模型。
图灵测试,被认为是判断机器是否具有智能最经典方法之一。当一个人工智能系统能够让参与者进行多次测试后,每个参与者的平均误判率达到30%以上时,那么这台机器就被认为通过了测试,并被视为具有人类水平的智慧。尽管目前尚未有任何人工智能完全通过了这个考验,但源1.0接近这个边缘,再次证明了大型语言模型实现认知级别智能潜力的可能性。
为什么加入这股“浪潮”?近几年,大型语言模型在人工智能领域取得了一系列突破性进展,如BERT、GPT-3、Switch Transformer和悟道2.0等,在产学各界掀起了一阵阵巨浪。而现在,“巨量模型”已成为全民热词。那么,对于面临诸多挑战的人工智能来说,大型语言模式又带来了哪些可能性?
当前,最主要的问题之一就是这些模型之间缺乏通用性,即某一个专用于特定领域但应用到其他领域时效果并不佳。这导致现阶段AI模块研发仍处于手工作坊式,从研发到调参再到应用,每一步都极高成本且难以满足市场定制化需求。而训练超大规模预训练可以解决此问题,因为它们能捕获大量标记和未标记数据中的知识,并存储至大量参数中,然后针对特定任务进行微调,从而极大地扩展泛化能力。此外,大型语言模式利用自监督学习,使得无需标注数据也能实现学习,便解决了解析成本高周期长准确度不高的问题。
刘军解释说,大型语言模式最重要优势在于进入产业落地阶段,只需小样本学习即可达到以前无法实现的地步,而且随着参数越来越多这种优势越显著,不需要使用者再进行大规模训练,而是在小样本下自己完成所需任务,可显著降低开发成本及时间。在零样本和小样本学习方面,比如CLUE基准上刷新多项SOTA(State of the Art),从文献分类到商品分类,再到OCNLIF等六项任务获得冠军,在零样本榜单上以18.3%绝对优势遥遥领先,同时在小样本榜单上也有四项冠军表现。
总结来说,大型语言模式代表了一种新的技术趋势,即从手工作坊式向“工业化生产线”转变。大规模预训练+下游微调提供了一种可行方案,可以有效捕获知识并适应各种新任务,无需额外标注数据便能提高性能。而作为行业内领导者的浪潮科技公司,则正在推动这一趋势前沿,一举两得既提升自身技术实力,又助力行业整体发展。