国产大模型突破80个，Google开始为Gemini造势：百模大战V6

原创走向未来走向未来

国产大模型仍然“涨势”喜人，已经达到81个（见表一），不过，除了各家大模型的“名字”之外，越来越觉得国内的大模型啥看头，都太“小”了。从 GPT-4的模型架构【点击阅读文章：GPT-4模型架构：它比你想象的更简单】来看，还是得有足够高质量的数据和足够大的模型。而最近，Google 开始为其 Gemini 大模型造势了。目前来看，Gemini 应该还是能够和GPT-4一拼的，甚至有点期待能够超越 GPT-4。毕竟，GPT-4一家独秀也有些时日了。

Google 在5月10日发布 PalM-2时就提到在训练 Gemini了，当时即提到 Gemini 是一个多模态的模型，在记忆和规划方面都表现出色——而这两个是当前所有大模型的弱点：记忆不佳则表现出“幻觉”，即一本正经胡说八道；而规划方面，Yang LeCun 天天在 diss 的【Auto-Regressive LLMs still can't plan.】！鉴于 DeepMind 在 AlphaGo/AlphaZero 方面的表现，以及Google 过往的创新能力，再加上Demis Hassabis明确表示了在 Gemini 上使用了 AlphaGo的技术，在大模型/AGI方面增强其规划能力也是值得期待的。当然，Gemini 是否能极大提升记忆和规划方面的能力，也还需要看其真正面世后的表现！让我们拭目以待！

本号持续关注通用人工智能，会持续跟踪人工智能【大模型、AGI、AIGC、生成式AI、文生文、文生图、图像理解、强化学习、知识图谱、深度学习】有关的数据、算法、模型和创投，欢迎关注本公众号获得一手数据和知识。

另一个消息是，Gemini 使用了Youtube 的数据（视频）来训练模型，不知道是否具备视频识别能力？如果真的能够依靠 Youtube的视频来实现 AGI 的连续视觉感知的话， AGI就像东升的旭日了！我一直认为，AGI 的关键就是构建感知世界【连续视觉感知】、推理决策【记忆、规划】和使用工具【类似 PaLM-E 或者 ChatGPT 的 Plugins】的能力。【点击阅读文章：AGI开始使用工具，chatGPT开放插件系统】

而关于 Gemini最新的消息是，Demis Hassabis说“从高层次上来说，你可以认为 Gemini 结合了 AlphaGo 类系统的一些优势与大型模型令人惊叹的语言能力。同时，我们还有一些非常有趣的新创新。”虽然说非常期待 Gemini 发布之时能够有详细的论文，但鉴于当前的形式，披露架构和实现细节的概率并不大。而这个，相比较于“国内大模型突破80个”这个消息，则显得有点讽刺！

关于 Gemini 的一些猜测：MoE架构，最大规模的Gemini 总参数在1T~10T 之间，推断激活参数100~500B ，训练语料的文本词元数量100T，图片100B 张，视频1亿分钟。预计还要几个月才会发布，看了下 Google 的好日子，也许是2023年9月27日Google 的25岁生日？

回到国内的百模大战，其实还是需要发挥国家力量来主导训练一个1T~10T 规模的基础大模型开放开源供大家使用，促进国内在 AGI 方面的发展。这点在百模大战 V5版本是有过具体提案【百模大战V5：收录74个国产大模型，国产开源有进展但仍然非常弱】。

说到 AGI，除了基础大模型之外，还需要做到以人为本，要尊重事实和知识，做到“知之为知之，不知为不知”。一直认为实现以人为本 AGI还需要知识图谱，不知道 Gemini 是如何搞定记忆的，是否用了 Google 所构建的人类最大规模的知识图谱。在此之前，依然认为： “以人为本AGI=神经网络大模型 ⊕ 知识图谱 ⊕ 强化学习。这里面的神经网络大模型负责理解语言，类似人的大脑【连接主义，图灵奖获得者Yoshua Bengio花书《深度学习》】；知识图谱则负责事实与知识，类似人类使用的百科全书【符号主义，王文广的珠峰书《知识图谱：认知智能理论与实战》：珠峰书《知识图谱：认知智能理论与实战》“升级”了：配套PPT，教学更easy！】；强化学习负责从环境中学习，类似人类的吃一堑长一智实现进化【行为主义，Richard S. Sutton《强化学习》】。当前比较明确的是，Gemini会把AlphaGo 那一套强化学习给用上。

接下来是例行数据。首先是大模型列表，原始数据放在Github 上随时更新：https://github.com/wgwang/LLMs-In-China 。欢迎大家给 PR，给 Issue，或者评论里补充遗漏的大模型。V6版本的国产大模型观察见下表。按城市的数据统计后面的饼图。

表：国产大模型列表，V6版本，收录81个

序号	公司	大模型	省市	官网
1	百度	文心一言	北京	✔
2	科大讯飞	星火	安徽合肥	✔
3	达观数据	曹植	上海	✔
4	阿里云	通义千问	浙江杭州	✔
5	复旦大学	MOSS	上海	✔
6	清华大学	ChatGLM	北京	✔
7	华为	盘古	广东深圳	✔
8	智源人工智能研究院	悟道·天鹰	北京	✔
9	哈尔滨工业大学	本草	黑龙江哈尔滨	✔
10	贝壳	BELLE	北京	✔
11	百川智能	baichuan	北京	✔
12	OpenBMB	CPM	北京	✔
13	上海人工智能实验室	书生·浦语	上海	✔
14	云知声	山海	北京	✔
15	东北大学	TechGPT	辽宁沈阳	✔
16	深思考人工智能	Dongni	北京	✔
17	中科院	紫东太初	北京	✔
18	虎博科技	TigerBot	上海	✔
19	IDEA研究院	封神榜MindBot	广东深圳	✔
20	微盟	WAI	上海	✔
21	360	智脑,一见	北京	✔
22	度小满	轩辕	北京	✔
23	华南理工大学未来技术学院	扁鹊,灵心	广东广州	✔
24	西北工业大学+华为	秦岭·翱翔	陕西西安	✘
25	奇点智源	Singularity OpenAPI	北京	✔
26	超对称技术公司	乾元	北京	✔
27	稀宇科技	MiniMax	上海	✔
28	西湖心辰	西湖	浙江杭州	✔
29	晓多科技+国家超算成都中心	晓模型XPT	四川成都	✘
30	中国科学院计算技术研究所	百聆	北京	✔
31	北京语言大学	桃李	北京	✔
32	商汤科技	日日新	上海	✔
33	国家超级计算天津中心	天河天元	天津	✘
34	星环科技	无涯、求索	上海	✘
35	慧言科技+天津大学	海河·谛听	天津	✘
36	宇视科技	梧桐	浙江杭州	✘
37	电信智科	星河	北京	✘
38	左手医生	左医GPT	北京	✔
39	智慧眼	砭石	湖南长沙	✘
40	好未来	MathGPT	北京	✘
41	数慧时空	长城	北京	✘
42	理想科技	大道Dao	北京	✘
43	硅基智能	炎帝	江苏南京	✘
44	中工互联	智工	北京	✘
45	创业黑马	天启	北京	✘
46	追一科技	博文Bowen	广东深圳	✘
47	网易有道	子曰	北京	✘
48	网易伏羲	玉言	广东广州	✘
49	昆仑万维	天工	北京	✔
50	知乎	知海图	北京	✘
51	医疗算网	Uni-talk	上海	✘
52	蚂蚁集团	贞仪	浙江杭州	✘
53	中科创达	魔方Rubik	北京	✘
54	腾讯	混元	广东深圳	✘
55	拓尔思	拓天TRSGPT	北京	✘
56	乐言科技	乐言	上海	✘
57	清博智能	先问	北京	✘
58	智子引擎	元乘象	江苏南京	✔
59	拓世科技	拓世	江西南昌	✘
60	循环智能	盘古	北京	✔
61	印象笔记	大象GPT	北京	✘
62	第四范式	式说	北京	✔
63	字节跳动	Grace	北京	✘
64	出门问问	序列猴子	北京	✔
65	数说故事	SocialGPT	广东广州	✘
66	云从科技	从容	广东广州	✔
67	电科太极	小可	北京	✘
68	中国农业银行	小数ChatABC	北京	✘
69	麒麟合盛	天燕AiLMe	北京	✔
70	台智云	福尔摩斯FFM	台湾	✔
71	医联科技	medGPT	四川成都	✘
72	理想汽车	MindGPT	北京	✘
73	港中文深圳	华佗GPT	广东深圳	✔
74	长虹	长虹超脑	四川绵阳	✘
75	孩子王	KidsGPT	江苏南京	✘
76	中科闻歌	雅意	北京	✘
77	澜舟科技	孟子	北京	✔
78	京东	ChatJD	北京	✘
79	智臻智能	小i	上海	✘
80	新华三H3C	百业灵犀	浙江杭州	✘
81	鹏城实验室	鹏城·脑海	广东深圳	✘

图：国产大模型按省级单位统计

本文依然是《迈向以人为本通用人工智能》的一份子，其他内容诸如：

深度全解析开放开源大模型之BLOOM

GPT-4模型架构：它比你想象的更简单

开源大模型观察之LLaMA

ChatGPT不仅把律师带入悬崖，还给“他爸”带来了麻烦

大模型时代,AI原生启航

被ChatGPT带入悬崖的律师

知识图谱和大模型在全球供应链体系数字化中的应用：上海国际物流节发言总结和补充

语言≠知识：万字长文看语言通天塔的建成和神经网络大模型的固有缺陷——与Bing Chat关于苏东坡的对话实录

如果觉得这个文章对你有用，请随手点赞、关注、转发、在看、打赏！

继续滑动看下一个