(资料图片)

云从科技近期接受机构调研时表示,从技术角度来看,公司认为ChatGPT是一个下游任务迁移之后更加专用的大模型,主要面向自由对话任务(Chat)。一方面,ChatGPT的成功,本质上是在GPT的基础上引入了基于人类反馈的强化学习,即引入人类专家的知识和偏好,这与公司的CWOS操作系统的理念比较相近。但我们认为纯粹依靠海量数据做深度学习的模型,在未来可能会遇到瓶颈。另一方面,GPT的成功也证明了引入专家知识做下游任务的迁移,最终得到专用的模型是正确的路径。这是一种实践层面的胜利,而非技术层面的革命性进步。

从业务角度来看,之前基于公司业务的需求,公司对预训练模型生成式的AI技术展开了相关研究,主要出发点是公司通过提升绝对性能方面的优势,以便在CV领域继续保持相应的技术地位,并且保持算法性能(即算法效果的技术水平)。同样公司在具体业务中发现,很多具体场景下有效数据(样本)较少,此时,预训练模型就能在降低对数据依赖的方面提供有效的帮助。

从行业角度来看,目前业界认为,大概达到千亿级的参数规模后,智能化的效果将达到明显的提升。公司目前正在考虑减少NLP的中间技术研究,并集中精力投入到超级语言模型方面的探索,并加大算力、算法以及参数规模的投入。

推荐内容