当前位置:首页 > 投融资 > 产业 > 创意产业 > 软件 > 正文

ChatGPT专题研究:生成式AI迎来拐点,商用落地前景可期

来源:未来智库 发布时间: 2023-02-13 14:49:37 编辑:夕歌

导读:根据UBS发布的研究报告显示,ChatGPT在1月份的月活跃用户数已达1亿,成为史上用户数增长最快的消费者应用。相比之下,TikTok花了九个月的时间月活跃用户数才破亿,而Instagram则花费了两年半的时间,同时,根据SimilarWeb的披露信息,Spotify在四年半后仅积累了1亿月活跃用户。

(报告出品方:国泰君安证券)

市场概况:ChatGPT——AI平民化的里程碑

OpenAI在成立之初便备受资本瞩目,与微软合作加速商业化进程

ChatGPT是由OpenAI团队研发创造,OpenAI是由创业家埃隆·马斯克、美国创业孵化器YCombinator总裁阿尔特曼、全球在线支付平台PayPal联合创始人彼得·蒂尔等人于2015年在旧金山创立的一家非盈利的AI研究公司,拥有多位硅谷重量级人物的资金支持,启动资金高达10亿美金;OpenAI的创立目标是与其它机构合作进行AI的相关研究,并开放研究成果以促进AI技术的发展。

ChatGPT发布后用户数持续暴涨,市场影响力迅速提升

根据UBS发布的研究报告显示,ChatGPT在1月份的月活跃用户数已达1亿,成为史上用户数增长最快的消费者应用。相比之下,TikTok花了九个月的时间月活跃用户数才破亿,而Instagram则花费了两年半的时间,同时,根据SimilarWeb的披露信息,Spotify在四年半后仅积累了1亿月活跃用户。根据SimilarWeb的数据,1月份平均每天有超过1300万名独立访问者使用ChatGPT,是去年12月份的两倍多。

ChatGPT具备诸多先进性特征

ChatGPT嵌入了人类反馈强化学习以及人工监督微调,因而具备了理解上下文、连贯性等诸多先进特征,解锁了海量应用场景。当前,ChatGPT所利用的数据集只截止到2021年。在对话中,ChatGPT会主动记忆先前的对话内容信息(上下文理解),用来辅助假设性的问题的回复,因而ChatGPT也可实现连续对话,提升了交互模式下的用户体验。同时,ChatGPT也会屏蔽敏感信息,对于不能回答的内容也能给予相关建议。

谷歌:面对ChatGPT构成的威胁,注资3亿美元投资竞品Anthropic

在ChatGPT发布后,谷歌CEO在公司内部发布了“红色警报”(CodeRed),敦促团队解决ChatGPT对公司搜索引擎业务构成的威胁,同时批准了在谷歌搜索引擎中加入AI聊天机器人的计划。2月4日,谷歌注资3亿美元投资ChatGPT竞品——Anthropic,谷歌将获得约10%的股份,Anthropic计划将次轮资金用于购买谷歌云计算部门的计算资源;Anthropic开发了一款名为Claude的智能聊天机器人,据称可与ChatGPT相媲美(仍未发布)。Anthropic和OpenAI渊源颇深,其联合创始人曾担任OpenAI研究副总裁。

美国新媒体巨头Buzzfeed踩准ChatGPT风口,两天内股价飙升3倍

1月29日,美国新媒体巨头Buzzfeed宣布计划采用ChatGPT协助内容创作,其股价一夜间暴涨近120%,两天内飙升逾300%,成交量突破4.38亿股(其月平均成交量不足2500万股)。消息公布后同类型公司股票成交量也迎来历史高峰:C3.ai本月成交量超过7200万股,为自去年6月以来最多;语音AI软件公司SoundHoundAI的成交量约为6450万股,几乎是其月平均值的三倍。

技术路径:基于人类反馈系统,ChatGPT助力跨模态AI生成应用

Transformer的应用标志着基础模型时代的开始

转移学习(TransferLearning)使基础模型成为可能。技术层面上,基础模型通过转移学习(TransferLearning)(Thrun1998)和规模(scale)得以实现。转移学习的思想是将从一项任务中学习到的“知识”(例如,图像中的对象识别)应用于另一项任务(例如,视频中的活动识别)。在深度学习中,预训练又是转移学习的主要方法:在替代任务上训练模型(通常只是达到目的的一种手段),然后通过微调来适应感兴趣的下游任务。转移学习(TransferLearning)使基础模型成为可能。

大规模化(scale)使基础模型更强大,因而GPT模型得以形成。大规模需要三个要素:(i)计算机硬件的改进——例如,GPU吞吐量和内存在过去四年中增加了10倍;(ii)Transformer模型架构的开发(Vaswanietal.2017),该架构利用硬件的并行性来训练比以前更具表现力的模型;以及(iii)更多训练数据的可用性。基于Transformer的序列建模方法现在应用于文本、图像、语音、表格数据、蛋白质序列、有机分子和强化学习等,这些例子的逐步形成使得使用一套统一的工具来开发各种模态的基础模型这种理念得以成熟。例如,GPT-3(pownetal.2020)与GPT-2的15亿参数相比,GPT-3具有1750亿个参数,允许上下文学习,在上下文学习中,只需向下游任务提供提示(任务的自然语言描述),语言模型就可以适应下游任务,这是产生的一种新兴属性。

Transformer奠定了生成式AI领域的游戏规则

Transformer摆脱了人工标注数据集的缺陷,模型在质量上更优、更易于并行化,所需训练时间明显更少。Transformer通过成功地将其应用于具有大量和有限训练数据的分析,可以很好地推广到其他任务。2017年,在AshishVaswaniet.al的论文《AttentionIsAllYouNeed》中,考虑到主导序列转导模型基于编码器-解码器配置中的复杂递归或卷积神经网络,性能最好的模型被证明还是通过注意力机制(attentionmechanism)连接编码器和解码器,因而《AttentionIsAllYouNeed》中提出了一种新的简单架构——Transformer,它完全基于注意力机制,完全不用重复和卷积,因而这些模型在质量上更优,同时更易于并行化,并且需要的训练时间明显更少。Transformer出现以后,迅速取代了RNN系列变种,跻身主流模型架构基础。(RNN缺陷正在于流水线式的顺序计算)。

GPT-1:借助预训练,进行无监督训练和有监督微调

GPT-1模型基于Transformer解除了顺序关联和依赖性的前提,采用生成式模型方式,重点考虑了从原始文本中有效学习的能力,这对于减轻自然语言处理(NLP)中对监督学习的依赖至关重要。GPT(GenerativePre-trainingTransformer)于2018年6月由OpenAI首次提出。GPT模型考虑到在自然语言理解中有大量不同的任务,尽管大量的未标记文本语料库非常丰富,但用于学习这些特定任务的标记数据却很少,这使得经过区分训练的模型很难充分执行。同时,大多数深度学习方法需要大量手动标记的数据,这限制了它们在许多缺少注释资源的领域的适用性。

在考虑以上局限性的前提下,GPT论文中证明,通过对未标记文本的不同语料库进行语言模型的生成性预训练,然后对每个特定任务进行区分性微调,可以实现这些任务上的巨大收益。和之前方法不同,GPT在微调期间使用任务感知输入转换,以实现有效的传输,同时对模型架构的更改最小。

行业进程:AIGC多模态交互功能持续演化,奠定多场景商用基础

ChatGPT已成为AIGC功能矩阵中的重要板块

ChatGPT是AIGC“数字内容智能编辑”功能中的重要组成部分,ChatGPT模型的出现对于文字/语音模态的AIGC应用具有重要意义。随着深度学习技术的快速突破以及数字内容的海量增长,AIGC领域相关技术打破了预定义规则的局限性,使得快速便捷且智慧地输出多模态的数字内容成为可能。在技术创新以及多模态模型的持续突破下,AIGC根据功能和对象的不同,按顺序可包括三种主要实用功能:数字内容孪生、数字内容的智能编辑、数字内容的智能创作。这三种功能相互嵌套与结合,可以让AIGC产品具备超越人类的创作潜力。而ChatGPT正是AIGC的数字内容智能编辑这一大功能领域中的重要组成部分。

从分析式AI到生成式AI逐步演化,生成式AI赋予AIGC创新力

生成式AI起源于分析式AI,分析式AI发展过程中的技术积累为生成式AI的产生奠定基础。分析式AI其学习的知识局限于数据本身;生成式AI在总结归纳数据知识的基础上可生成数据中不存在的样本。最新生成式AI技术如GAN,Diffusion等,催生多款AIGC产品如:OpenAI系列、DALL·E2(Diffusion),StarryA.I.(基于GAN)等。

AIGC产业链涵盖了从硬件到多类终端应用的广泛领域

AIGC关联产业可分为应用层、模型层、云计算平台与计算硬件层。计算硬件层结合云计算平台为AIGC提供机器学习训练与推理算力,其中GPU与TPU为硬件核心,主要参与厂商包括英伟达(GPU)与谷歌(TPU);云平台参与厂商则包含AWS,GCP,Azure以及Coreweave;计算硬件层中云计算平台厂商分布稳定,竞争出现于模型层面与应用层面。模型层面,闭源基础模型提供商如OpenAI通过API向用户提供服务,而开源基础模型则通过在托管平台如HuggingFace、Replica公开模型权重。模型训练其高计算力需求推动了模型层厂商与云计算厂商建立合作关系(如OpenAI+Azure,GCP+DeepMind。模型层面闭源模型较为普遍,各厂商依靠模型建立技术壁垒。在应用层面,MidJourney,Runway等自主研发、持有模型;而Jasper,GithubCopilot则通过调用闭源模型商提供的API或采用托管平台共享的模型。

商业化:多领域多功能应用密集落地,ChatGPT商用前景可期

ChatGPT+影视:拓宽创作素材,提升作品质量

ChatGPT可以根据大众的兴趣身定制影视内容,从而更有可能吸引大众的注意力,获得更好的收视率、票房和口碑。ChatGPT可以为剧本创作提供新思路,创作者可根据ChatGPT的生成内容再进行筛选和二次加工,从而激发创作者的灵感,开拓创作思路,缩短创作周期。ChatGPT有着降本增效的优势,可以有效帮助影视制作团队降低在内容创作上的成本,提高内容创作的效率,在更短的时间内制作出更高质量的影视内容。