五分钟技术趣谈 | AIGC介绍与应用选型评估

Part 01  AIGC介绍  

AIGC（AI-Generated Content，人工智能生产内容），是指利用AI技术自动或协助生成文字、代码、图像、语音、视频、3D物体等各种形式的内容的生产方式。AIGC代表了AI技术发展的新趋势，从感知理解世界到生成创造世界，从分析能力到创作能力。AIGC也带来了内容创作的变革，提高了内容的质量、效率和多样性。

1.1 文本生成

文本生成是指利用AI技术，根据给定的输入（如关键词、图片、语音等），自动生成符合语法和逻辑的文本内容，是AIGC的一个重要方面。

文本生成的应用场景非常丰富，包括新闻写作、小说创作、营销文案、客服问答、聊天机器人、教育辅导、知识图谱、摘要生成等。

文心一言：由百度推出的支持多模态输出的AI大模型，能够进行文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成等。

ChatGPT：由OpenAI推出基于GPT系列模型的聊天应用，当前已推出GPT-4模型，基于GPT-4模型的ChatGPT可以分析图片并进行文本、图片交互。

1.2 代码生成

包括代码补全、代码重构、代码优化、代码注释等，可以覆盖多种编程语言和领域。基于OpenAI的GPT-4模型，甚至可以做到基于手画的一张产品原型草稿图生成对应的网站代码。

Github Copilot：一种基于OpenAI Codex模型开发的AI辅助编程工具，它支持数十种编程语言，可以根据代码或注释，实时地在编辑器中提供代码建议和整个函数，也能通过聊天交互达成结对编程的体验。

Cursor：一个独立的IDE软件，集成了OpenAI的GPT模型。与Github Copilot类似，Cursor可以通过AI写代码、编辑代码和聊天。

1.3 图像生成

图像生成是指利用人工智能技术，根据给定的输入（如自然语言、图像、视频等），自动生成符合语义和美感的图像，是AIGC的一个重要方面。图像生成的应用场景非常广泛，包括艺术创作、娱乐媒体、教育培训、电商营销、医疗诊断等。

文心一格：由百度推出的AI艺术和创意辅助平台。可以根据文本描述、风格选择，自动生成画作。

DALL-E2：由OpenAI在推出的一种基于自适应多模态编码器的生成模型，它能将多模态输入信息（如文本、图片等）融合，自动生成高质量的图像。

Midjourney：一款2022年3月面世的AI绘画工具，能基于自然语言生成图片，可选择不同画家的艺术风格，还能识别特定镜头或摄影术语。此工具生成的画作在美术比赛中曾获一等奖。

1.4 视频生成

视频生成主要分为视频编辑和视频自主生成两种。视频编辑可用于视频超分、修复和剪辑。视频自主生成可用于图像到视频的转换，或给定描述性文字生成相符的视频。下面是一些相关的应用：

Deepfake：这是一个基于GAN技术的AI视频生成平台，可以实现换脸、声音转换、表情模仿等功能。用户只需要上传一张图片或者一段视频作为参考，就可以自动生成视频。

Make-A-Video：由Meta公司推出的可以把文本转化为视频的AI系统。它可以根据几个词或几行文本，创造出充满鲜艳色彩、人物和风景的独一无二的视频。

1.5 3D建模

基于AIGC的3D建模技术是指利用人工智能技术，根据给定的输入（如自然语言、图像等），自动生成符合语义和美感的3D模型。此领域当前处于较早的探索阶段。以下是一些相关的应用或模型：

AICommand：一款基于Unity的开源AI命令插件，可以通过文本描述生成3D场景，并通过文本对3D场景进行调整优化。（https://github.com/keijiro/AICommand）

ICON：一个基于人物图片生成3D人物建模的开源AI模型（https://github.com/YuliangXiu/ICON）。可以在线体验并下载生成的3D模型：https://huggingface.co/spaces/Yuliang/ICON

Part 02 AIGC应用与模型测评

ChatGPT在2022年底由OpenAI推出后，在短短两个月时间内，累计用户就突破一个亿，迅速火遍全球。由此，AI的iPhone时刻到来，各大IT厂商随即快速跟进。以下是截止2023年4月的一些相关应用或模型介绍。

• 文心一言：见上文。
• ChatGPT：见上文。
• Bard：由谷歌推出的基于LaMDA的轻量级版本的NLP大模型。
• New Bing：由微软推出的一款基于GPT4模型的智能搜索引擎，它可以与用户进行自然语言交互，结合实时搜索结果，提供信息、娱乐、创作等多种功能。
• ChatGLM：由清华大学推出的基于GLM 架构、开源且支持中英双语的对话大语言模型。可基于CPU进行低成本最小化模型搭建，也可二次开发微调模型。
• Poe：由Quora 开发的免费AI聊天机器人应用，应用内集成了包括：ChatGPT、GPT-4在内的6种主流AI聊天机器人。

将从以下方面进行测评对比（Poe除外）：

• 自然语言处理
• 逻辑推理
• 代码生成
• 多模态支持

PS：

• 参与测评的ChatGPT基于GPT-3.5模型。
• 参与测评的ChatGLM只是最小化模型：chatglm-6b-int4-qe。实际应用应搭建需求GPU显存的chatglm-6b模型，回答质量会有较大提升。

2.1 自然语言处理

测评内容：

多轮对话：我们一起来创作儿童故事吧。规则是我先说一句，你再说一句，交替进行。直到我说“故事编完了”就结束。你明白了么？

语言理解：我老板说1+1=3，我老板说的都是对的，所以1+1=3，是吗？

语言翻译：将这段话翻译成英文：一花独放不是春，百花齐放春满园。

情感分析：分析这段话的情感色彩：我非常喜欢这个新的电影，它让我笑了很多次，也让我感动落泪了。

• ChatGPT

• 文心一言

• Bard

• NewBing

• ChatGLM

得分如下：

2.2 逻辑推理

测评内容：

在一个架子上有五本书:红皮书、绿皮书、蓝皮书、橙皮书和黄皮书。绿皮书在黄皮书的左边，黄皮书是左数第三本，红皮书是从左数第二本，蓝皮书在最右边，请问这些书的顺序是怎样的?

在一条100米长的直线上有A、B、C三个点，A的位置不确定，A和B之间的距离是5米，A和C之间的距离是10米，B和C之间的距离可能是多少？

若2<x<6,1<y<3,则x+y的区间是多少?

• ChatGPT

• 文心一言

• Bard

• NewBing

• ChatGLM

得分如下：

2.3 代码能力

测评内容：

• 代码生成：编写一个python函数，接受一个整数作为输入，并判断它是否是回文数。
• 代码解释：解释这行python代码: my_list = [x for x in my_list if x % 2 == 0]
• Bug检测：这行代码哪里有BUG: my_list = [x for x in my_list if x % 2 = 0]

• ChatGPT

• 文心一言

• Bard

• NewBing

• ChatGLM

得分如下：

2.4 多模态支持

多模态支持是指能够处理多种数据类型，如文本、图像、音视频等。例如：通过文本输入，自动基于文本需求生成图片、音视频；通过图片或音视频输入，输出内容摘要文本等。

• ChatGPT

基于GPT-3.5模型的ChatGPT并不支持多模态输入及输出能力，基于GPT-4模型的ChatGPT则可以分析图片并分析反馈文本。

• 文心一言

文心一言目前可以基于文本描述生成图片、语音。发布会展示了视频生成能力，不过在实际使用过程中，无法生成视频。

• Bard

Google Bard并不支持多模态能力。

• NewBing

NewBing的创造力模式下，支持通过文字描述生成图片。

• ChatGLM

清华的ChatGLM并不支持多模态能力。

得分如下：

Part 03  测评汇总与选型评估 

结合以上对比得分，再从Demo和生产（商用）两个阶段进行综合评价考虑。

测评综合得分如下：

选型评估如下：

Part 04 总结  

 Demo阶段： 以文心一言作为AI首选，NewBing及ChatGPT作为备选AI，ChatGLM作为自研AIGC的探索方向（需要GPU资源配合）。

 生产商用阶段，多条线路可选：

• 国内大陆区域则以寻求与文心一言进行B端合作的形式进行AI引入；
• 国内港澳台区域则可考虑引入OpenAI的官方GPT-4 API进行AI引入；
• 基于清华ChatGLM模型，搭建并微调研发自主AI。

Part 05 结束语 

WebGPU作