|
|
谷歌的机遇错失与 OpenAI 的惊艳亮相实则提醒着我们——落后,先机,时有交替。当下的技术与商业演进远未到终局,真正的变革甚至还未正式开始。人们只需记住,创新可能随时、随地发生。. z# o& s3 G8 H, {# b4 h
9 x: G. e9 X! h! ~0 m7 v' ^' Q
访谈硅谷与中国近 100 位与大模型相关的创业者、投资人、大厂决策层后,5 个你需要了解的大模型世界观。# k; P7 D& f4 @
! Y+ y* I/ v2 ^$ Y& ~ 回看历史总是充满戏剧性。
9 j# o4 u& m, V3 G$ r8 {$ _
/ A X; E, q3 I/ b2 H 2021 年 5 月,谷歌 I/O 大会,一段由聊天机器人 LaMDA 扮演「冥王星」与人类对话的 Demo 被演示出来,当即博得现场的掌声。此时距离谷歌定下「AI First」的目标已经过去六年,距离 OpenAI 震惊世界的 ChatGPT 发布还有将近 18 个月。
. A: n4 w; V3 l+ {0 h5 i$ a- e& h/ ~3 u
这个时候,谷歌仍是 AI 领域的先行者。但项目背后的两位关键工程师,De Freitas 和 Shazeer 却感到沮丧。
- S8 ~: V3 c/ ]9 e6 @% g+ b1 T$ I2 G9 P. A$ h3 J# A2 K# ^: f6 E
他们希望能够对外展示 LaMDA 进入 Google 助手的案例,但多年来,聊天机器人项目经过多次审查,由于种种原因被禁止发布更广泛的版本。# H) L1 X, Y$ p) a! [
: K4 t( h7 ~7 s3 T; A' _
" N4 Y& Y; a. o: E/ A6 z5 g3 P$ {8 m+ R
j) ?$ {0 E ~8 e9 b; v7 f 而此前一年,OpenAI 已经公布了 1750 亿参数的 GPT3,并开放了 API 测试。谷歌却因为各种「技术政治正确性」的风险,迟迟不愿将对话模型的产品对外公开。2 u' z0 B2 {: u, \6 B7 W2 \
0 F4 b' ~4 ~2 }& r g# P8 J De Freitas 、Shazeer 因此萌生去意,尽管 CEO Pichai 亲自进行挽留,但最终,两人还是在 2021 年底离开谷歌,创办了 Character AI——目前 AI 大模型领域的独角兽之一。
4 i1 E% \8 _2 ~" J* ]( y
8 J8 M8 }+ S1 q% q6 ? H 谷歌就这样与引领变革的先发优势失之交臂。
9 H# v2 u) U5 i/ m
" p- |! o; e$ ~9 {- U 后来的故事更加广为流传。2022 年底,ChatGPT 横空出世,这不仅使 OpenAI 名声大噪,更令其投资方微软大杀四方,在 GPT-4 的加持下,微软推出搜索产品 New Bing,剑指谷歌。不仅谷歌,整个硅谷乃至世界也都为之震动。
: y! t- E0 H$ H+ n# R( A7 P4 \" z( x7 J
转眼 8 个月过去,大洋彼岸,OpenAI 带来的惊异已过,硅谷巨头们已度过恐慌期,也在全新战局中找到身位,创业公司前赴后继,在中国,百模大战则又是另外一番景象。
* L' k* S9 ^" e4 j8 F ~8 \4 V1 K/ p
技术商业快速变化的半年来,业界关于大模型的认知与共识也不断更新,极客公园在与硅谷和中国近百位创业者、投资人、从业者交流后,总结出关于大模型创业的 5 个现状,尝试以此呈现一篇尚待验证的「大模型商业世界观」。
" `- p+ G- e! L ~1 X8 @! h o% W& _
% W# Z4 H, [) d( G' |0 \ 谷歌的机遇错失与 OpenAI 的惊艳亮相实则提醒着我们——落后,先机,时有交替。当下的技术与商业演进远未到终局,真正的变革甚至还未正式开始。人们只需记住,创新可能随时、随地发生。
& c1 S+ V7 u; _# g7 M6 j6 I8 ]& ]2 R4 |0 e( J) V* ~, L
01
" ^1 m6 e# v" H4 f& B! [) Y6 N6 H" y( y2 P$ v
薛定谔的 OpenAI :所有人的英雄,也可能是所有人的敌人
- N% D' X! e) x+ I# a4 r1 ~. l5 H" }. ?$ |' D- o
当中国创业圈还在将 OpenAI 视为硅谷新神时,硅谷已经悄悄开始了对 OpenAI 的祛魅。# b' O9 o" ^( @1 S
9 C* `- @0 Y( M& p6 g- o1 t 尽管 OpenAI 实现了技术的突破、并且仍然是 AI 人才们趋之若鹜的地方——很多企业号称要向 OpenAI 狙击人才——而事实是,时至今日,OpenAI 的*技术人才依旧在「净流入」。其对 AGI 的信念和过去 8 年由愿景驱动带来的技术突破,使这家公司成为很多人眼里的英雄。
, i% z7 p" n5 X8 j1 g7 P$ |' |) Y, m8 H- C9 c- F( [ A9 F( X& v* ]3 R
但英雄也要过日子。技术突破的下一步,是创造价值来创造商业循环。硅谷的争议在于,OpenAI真的能持续*吗?, Q( _: y( U: Q
! j! h2 {7 Z, r: X 多位硅谷创业者、从业者、投资人不约而同地向极客公园表达了消极的判断。人们质疑的是,就目前看来,OpenAI所呈现的商业模式存在隐忧——在「前 ChatGPT」的非共识阶段,OpenAI 尚可以凭借少数人的信念赢得资源,而今 AGI 已成共识,竞争者众,想要维持*,挑战与难度将直线上升。
- m g% x# b; M: B' V: s- c* P
8 Y* n. @2 F4 c# v 如果把商业盈利模式统分为 toB 和 toC,前者 OpenAI没有 toB 基因,且劲敌当前——在企服方面,OpenAI 的资方微软是这个领域的*,微软系的企业聊天应用市占率超 65%,旗下的 Teams 近年逐渐蚕食了明星公司 Slack 的市场。在 toB 领域,成立 48 年、跨越数次技术周期的微软毫无疑问比初创公司 OpenAI 积累更深。, [, O k) K Q
9 J- a' ]5 d4 i9 c: B* ^
而要想做 toB 生意,OpenAI还面临着中心化风险的质疑。目前,OpenAI 面向企业所开放的 API 模式,已经吸引了一批客户使用它——尤其是中小开发者,它们无力独立训练一个大模型,接入 GPT 系列的 API 成为*的选择。刚刚跻身独角兽的 Jasper.AI 就是其中*的例子,通过接入 GPT3,Jsaper.AI 仅成立 18 个月就估值 15 亿美金。5 N' r1 S6 b/ j; K2 F
) }/ K, {. u2 F5 S4 M7 d1 {+ W
「但大家因此都不看好 Jasper.AI。」一位硅谷主流基金的投资人告诉极客公园。私有数据是企业最重要的资产,在目前,将私有数据接入中心化大模型首先面临着合规与安全性的问题——尽管 Sam Altman 在 5 月曾经承诺,OpenAI 不会利用客户使用 API 的数据进行训练——但这既无法打消企业的疑虑,也无法获得其信任。1 ?6 g X( d* ?- k! d
: v; Z9 l8 n- M6 i' V: F/ ^* d
「美国一些企业客户普遍对用 OpenAI比较担忧。」这位投资人告诉我们,在企业眼中,OpenAI 最接近云时代的 AWS,但是大家又不会用面对 AWS 的逻辑面对它。「客户普遍不太愿意把数据和关键竞争力交给 OpenAI,觉得会有风险」。即便 GPT 系列能够以中心化的能力帮助垂类领域训出大模型,对客户来说,凭此构建的竞争力也很危险——这将是一种「吸星大法」:如果自己的数据和经验最终也能为别人所调用,这将使行业*者的竞争壁垒下降。
* C8 j) u5 M4 ]
. L0 A4 z/ ^2 I 而做 toC 呢?
% t0 @- l9 J) E0 i, f8 J- _6 b1 t, D: Q
看起来,OpenAI在 C 端拥有用户优势。自其超级产品 ChatGPT 发布以来,其月活一路攀升至 15 亿,相比之下,Instagram 的月活也不过 20 亿。不过,巨大的月活却未必能为 OpenAI 带来数据飞轮效应——「(通过)用户持续问问题来做(大模型的)training,数据价值不大。」一位创业者指出。 [2 P- Q5 i9 y$ I. T
3 q, A. [& N0 a+ v) G
值得注意的是,自 6 月开始,ChatGPT 的月活首次出现下滑。人们对此的推测包括:6 e6 Y8 L6 `( N- i( O4 B" b* u
: K% z( T5 p2 _
因为对科技的新鲜感已经下降——实际上 ChatGPT 的访问量增长率一直在下滑,5 月环比仅有 2.8%;
' D8 [! G+ N; Q- p2 p/ s
3 E% c4 o' J: V2 j4 S) R* |2 @ 学生放假导致学生使用量降低;
* H9 d6 F* \( r' f% u: b9 c3 Q2 h+ V' D1 U" O9 W# L
以及一个更为严重的猜测,ChatGPT 的回答质量下降导致使用量下降——GPT-4 刚刚推出的时候,速度较慢而回答质量较高,而几周前的一次更新,有用户反馈其回答速度增强,但质量有了可感的下降。1 t/ y0 A2 X; `( E, I, S2 i
1 ~& M7 J/ d$ f3 E, z
更重要的是,包括 Google 、Meta、苹果等在内的巨头也将围绕 toC 产品进行发力。比如 Google 已经重新整合了 Brain 和 Deepmind 两个内部团队以求在技术上压制 OpenAI 的优势。「以前者的超大用户规模,一旦巨头推出免费产品,则可能冲击 OpenAI 现有的订阅收入。」OpenAI 需始终维持住其技术壁垒,一旦技术壁垒被打破,则可能轻易被巨头以价格优势发起攻击。( x y* L9 h4 G9 n8 r1 k6 O
+ \( Q2 D0 T2 F 今天的 OpenAI,就像薛定谔的猫,难以断言它的前路是否明朗,可以确定的是,它将会在所有巨头密切监视的范围之内。
" N! p; O+ a. {$ d0 q. @/ X; K% X8 y4 b8 }* [* q) Z$ ^% Q
02) u5 N+ \$ a- t! Z/ n
0 x& c; |5 T# T6 W
最*的公司各选山头,但目标上殊途同归
% U. K* } j/ t) O; Y+ ^0 F0 g: E2 i
那么,硅谷的巨头们在做什么?, {+ G0 ?9 r$ M
8 Y2 A$ M1 T7 q o# j 极客公园与大量硅谷从业者交流后发现,与 ChatGPT 初亮相时相比,硅谷巨头公司的恐慌期已经基本结束。这些商场老将们迅速确立了自己的山头,并加速技术的推演,以防守好自己擅长的象限,确保自己不会被颠覆。6 } L# C# a% x' M+ ]6 @" q
. }# v: I$ h6 }0 K2 t: r
他们一致的做法是,沿着自身已有的优势进行扩展布局,寻找大模型能为之助力、甚至可能发生颠覆式创新的方向,一方面加固自己的业务优势,防范对手的突然袭击;另一方面也为可能出现的新战场埋下先手。! W: A7 R4 U" ~# a" g: S
' X2 m2 `3 ^9 u# H' P+ D 极客公园创始人兼 CEO 张鹏在不久前引发众多关注的 AGI Playground 大会演讲中,曾经讲解了这样一个观察。! n+ J' Q( A5 {3 L' f+ h
5 B6 {2 A. e8 i0 W
从一个公司的价值评估角度来看,如果以服务方式带来的边际成本高低为横轴(X 轴),以服务对象多少为纵轴(Y 轴)、并以平均客户价值(客单价、ARPU值等的高低)为空间轴(Z 轴)来建立一个价值坐标系,则会发现,硅谷巨头们各有各的山头要守卫,但又有统一的发展趋势逐渐确立。9 V- L- V$ C( Y: ~7 h5 K K
: X2 g4 `& _3 d% g4 a
4 z, y- F* ?; z4 B3 s & r# [/ q9 |8 l1 B# x( `0 t C* Y
美国大模型应用产业地图。制图|Founder Park H# {: L( ]0 @# Y
5 D1 @: Q4 n, }' [. |% O2 ^ 边际成本低,服务对象多、而平均客户价值高,这三个核心能力占据两点以上,往往才能自占据商业世界的最高价值。+ P$ I {$ E3 Z
: |4 G7 I* ?) y% A# E% B# m 目前,传统巨头在大模型领域的技术投入普遍都是在积极防御,只有微软和英伟达在非常积极地推动向应用中的落地。
0 |4 J& P( O+ K& ] S2 Q6 X9 M+ ^5 U* @0 [6 e6 m- G
而目前硅谷影响力*的新生代企业,如 OpenAI、Midjounery、Character.AI 等公司,则是明显利用了大模型技术能力,迅速打破「低边际成本、大用户量、高度个性化服务价值」的不可能三角——显然,这也是 AGI 技术变革的意义:用更低的边际成本服务更多客户,并交付更个性化的价值,进而获得更高的平均用户价值。
, b4 _* r* c0 v `$ M1 \# k9 f3 B+ W4 T$ }5 q
「目前,所有的巨头都会努力跟上这波变革,也努力守住自己在价值地图中的位置。而新兴的企业努力的目标,则是无论你从哪个象限的位置出发,都尽可能地去追求用 AGI 技术向你所在的象限,甚至是突破原有象限的向右上移动,并尽力追求更高的平均客户价值。」张鹏在演讲中说。, i+ [3 d: N6 [2 L% w) v2 h
7 g# j: z, [6 ?2 _. {6 [: u: z
在这样的大趋势下,我们不妨看看硅谷巨头们目前的状态和决策:! ?3 K7 ~, T$ j+ o
# p- Z2 r- ?$ {" y i 苹果:不靠谱就不冒险,坚持 toC 固基业0 o+ x7 A1 i% a( B( G+ s
/ U% Q+ j ?7 r1 v+ G6 \
作为曾被寄望能实现电影《Her》中场景的苹果,尽管今天仍未能实现如此深刻的人机交互,但这家向来秉承长期主义的公司不会放弃——相比于通用大模型,苹果的策略选择基于自身的基业,坚定在to C & 标准化的方向。5 i) l/ i2 O' P9 Z3 Q! R) {% h- r( V
0 t4 s! P! s k/ j 苹果希望 AI 模型最终能在终端硬件上运行——这需要让模型能够在算力较弱的环境下运行,目前还无法达到。它对 AI 的运用也更为务实:今年轰动一时的 Vision Pro 中,苹果利用 AI 技术,使佩戴者在 FaceTime 视频时能够有全方位的虚拟化身。在 WWDC 上,苹果还展示出了 autocorrect 功能,通过让一个 Transformer 架构下的大语言模型在手机上运行,以修改用户的错字、并更好地预测用户的语言习惯。
7 _9 f$ e I- O5 R
R8 `6 O5 }: n 如果说 Vision Pro 是苹果押注的下一代数字终端,新终端带来新的数字内容需求,在终端上运行大模型则是实现终端内容的技术前提。( P" M; H+ R; c. ~3 ?3 U
0 P; Q2 c* R- s: Q 在用大模型研发 to C 产品上,苹果尚未制定明确的战略。这也显示了苹果在终端产品上的谨慎。 k) ?/ i8 f3 {8 U6 r7 [
; U, s( C; }7 W- {, ^8 X
已经有消息表示,苹果在开发新一代人工智能技术:苹果去年搭建了机器学习开发的 Ajax 框架,并基于其构建了类聊天机器人 AppleGPT。但是这一技术目前只被要求服务于内部员工,比如给 AppleCare 工作人员提供支持,以更好地帮助客户处理问题。/ G9 w0 Y3 ?0 e# b: U h! E
1 C" \+ \) X& f( w7 I: \5 _7 j+ _+ N
蒂姆 · 库克在 5 月份的财报电话会议上谈到当前的人工智能技术时表示,还有许多问题需要解决。正如苹果给到了 Vision Pro 充足的耐心,对于 AI 大模型如何进入产品,目前看起来也同样充满耐心。
1 m1 G" F6 a! S/ B; K) O! X7 s
* j6 s# o8 i v# v0 X) Z3 h Meta:以 Llama 打造下一代「安卓」,损人且利己
- t/ r( i/ _- {' C G& Z T5 O9 \- m, @' I9 V
社交网络出身的 Meta 仍然在朝着它打出的概念——元宇宙进发。
3 c" ?/ ~7 Z% Q. L# y6 X
, }- i2 G0 `# S* _4 a3 y6 O 如果将大模型视作为下一代计算平台,Meta 正以开源的方式挑战 OpenAI,目的是要成为应用生长的土壤。开放 Llama2 商业许可,并与微软 Azure 合作对外提供服务、与高通合作推进在终端运行 Llama2,这一系列动作让 Meta 的战略布局更加明显。通过云服务,模型服务能够向 B 端方案渗透,通过与高通合作,又能够促进基于终端的应用开发。, w) q5 |" s4 K; K' ^2 a" H
/ f4 `3 L; p" e# P5 G: o! a
而在新技术提升已有业务效果上,Meta 也动作迅速。6 月,扎克伯克宣布了全平台产品整合生成式 AI 技术。此前,帮助广告商生成文案、测试广告效果的 AI 生成服务 AI Sandbox 已经上线,这将直接服务于 Meta 营收核心的广告业务。/ S$ u, j J" \
, T3 c" n% R; _/ M' q+ q' A8 ^* z 看起来,Meta 走在提供标准化模型能力的路径上,试图在 toB 和 toC 领域两头开花。从其目前困境来看,不难理解背后原因——Meta 已有的超级应用 Facebook 并不能构成真正的护城河,从元宇宙开始,Meta 已经在思考布局下一代计算平台 VR头显,但是创造一代全新计算平台及生态的挑战巨大,并且进度上低于预期。. D# t3 G! o+ j/ c
0 ^1 y3 L9 e! S) L" ]* d! Z
大模型给了 Meta 新的希望。比如在技术上 Text to Image(文转图)发展很快,来自硅谷的大厂技术专家们普遍认为 Text to 3D(文转 3D)的能力会很快速地增长——这有助于 Meta 的元宇宙生态。
* O0 y; I- }& i' ]9 k0 J `
9 u0 r, {& O4 \- U! B: C 因此,Meta 通过 Llama 来提供开源的能力,既可以击碎其他巨头的技术独占价值,也能促进大模型技术更快地被运用到自己的现有业务和元宇宙生态,是一石三鸟的好机会。1 Z0 t* u" `8 a: M$ Q
. o- X- U {* ?3 \% Z- p5 v
亚马逊:持续领跑云服务,CEO 亲自挂帅「*野心的 AI 项目」2 p' J. P2 n, B7 R& p1 `
! O& V5 D1 s6 S' b% `) f) T& C; @+ H9 @
亚马逊是另一个一度被外界质疑落后于 AI 变革的巨头,但最新消息显示,它正在奋起直追。/ w3 _) w( c# E( N# W! e
4 l+ `5 Q; h, F/ t4 s! B 2 月,亚马逊推出了自家的开源大模型 mm-cot,尽管在模型架构上,创新地提出了包含视觉特征的思维链,但在层出不穷的开源模型社区,并没有引起太大水花。而截至发稿前,据外媒 Insider 最新报道称,亚马逊 CEO Andy Jassy 目前正亲自带队,该团队负责开发该公司*野心的 AI 项目。) W2 j9 k/ w: `! [( X. y) R
5 Q8 M* }" I, s, @; t 作为云服务的领跑者,占有 48.9% 市场份额的亚马逊在 B 端有着*的客户优势。因此,围绕 B 端,自 4 月以来,亚马逊推出了大模型服务 Amazon Bedrock,其中既包括自研的大模型,也与 AI21 Labs、Anthropic、Stability AI 等基础模型提供商广泛合作,助力企业轻松灵活构建生成式 AI 应用,降低所有开发者的使用门槛。- F5 ^3 l8 _* ^1 X. W
( B' p8 d, }$ _& P
此外,为了抑制和解决 AI「一本正经地胡说八道」,亚马逊还打造了 Amazon Titan 基础大模型,它可以识别和删除客户提交给定制模型的数据中的有害内容,过滤模型中不当内容的输出结果。5 C$ W) u2 A+ G) d: \$ r, ]% Z, T! R9 B
- i8 b% ]8 S* N1 H1 T 同时,亚马逊业务的根本——提供算力,仍然是大模型时代的「刚需」。
6 N( e7 S) W% m/ ]6 K: t; A! ], [9 D% {8 g9 q4 Y
即使在大模型时代技术栈会发生变化,云服务依旧是计算的底层支撑,AWS 需要更好地嵌入新的技术栈。而新繁荣的模型工具层,诸如 DataBricks、BentoML 等都会选择和云平台合作,分享收益。
; a' M3 {* q$ S
% ?* |) u. c5 V H6 A# w- ^: I 4 月,亚马逊网络服务(AWS)宣布与 Stability AI 和 Hugging Face 等人工智能公司建立合作伙伴关系,这将允许其他公司使用亚马逊的基础设施来构建人工智能产品。此外,AWS 还投资 1 亿美元建立 AWS 生成式 AI 创新中心(AWS Generative AI Innovation Center),该中心将把客户与公司的人工智能和机器学习专家联系起来。他们将帮助医疗保健、金融服务和制造业的一系列客户使用新技术构建定制应用程序。
1 D2 N3 X+ X j2 ]) i, C& ^% i
3 y- R: u- n! v+ s+ i& t" L: p 而在 AI 领域深耕 20 年的亚马逊,目前看来其野心并不甘落于微软和谷歌之后,也不甘心只坐守 B 端优势与成果。在 B 端之外,亚马逊似乎也在发力 C 端;同时,除了去中心化地提供模型能力赋能,亚马逊也在打造中心化的大模型——这也是 Andy Jassy 亲自挂帅的目的。3 r: g' m! a- w0 e" V+ v* @8 e3 ^: r
' t# L: R' W3 Q! x4 s- C 微软:手握王牌,B 可攻、C 可守8 i/ g( z3 p$ O& y
0 T1 J; |- N0 q$ a: T
作为 OpenAI的投资方,借前者的技术能力与影响力,微软在 B 端和 C 端都极早开始布局——在 B 端,微软获得了布局云平台新技术栈的先机,同时将来自 OpenAI、Meta 的模型接入云服务,以期切走云市场更大的蛋糕。而在 C 端,微软则开始打造前端产品、用大模型做 Copilot :如在自身的强势产品 Office 365 中上线 AI 的新功能、将 OpenAI 的大模型接入 Bing 搜索中,发布 New Bing 产品,成为*批大模型成熟产品的典型。 ^( S! A& U/ k) P0 e* l
# y% a; n) {) _- R* q' G# M* c3 G- X B 端与 C 端的双线推进,不仅巩固了微软原有的 toB 优势,同时也加固自己的壁垒以防他人颠覆。
* l# P: u: j1 Z0 X0 ]# w1 `; i r3 m$ m) M+ G
此外,在更底层的硬件层面,微软也对 AWS 等云服务厂商发起了攻击。在更底层的硬件层面,微软也从 2019 年在内部开始研发代号为「雅典娜」的 AI 芯片,这些芯片正式为训练大语言模型等软件而设计,同时可支持推理,为基于大模型的软件提供算力。初代产品基于 5 纳米工艺,微软也已规划了未来几代芯片产品。) C N& o2 K/ `
* n0 f7 j9 K! o, f( J 据了解,微软依旧在扩大数据中心、采买芯片,能够看出,为了延伸目前自身的优势,微软做了充分的技术布局,但挑战在于,接下来能否在市场化上得到验证。: i% a6 B5 n/ ]9 d3 k, S( w0 @
j$ W0 Q$ S- { 最新截止 6 月 30 日的第四季度财报显示,截至 6 月底,Azure OpenAI 拥有 1.1 万用户,和 5 月末的 0.45 万相比出现大幅增长。智能云业务营收尽管在上涨,但较上一季度增速在放缓。此外,微软在 7 月中旬,将 Microsoft 365 Copilot 的价格设定为每月每户 30 美元,这被视为增加收入的方式。
6 y7 Q% ]% {( O" j/ B2 O: q( a4 U. v f' ]$ o9 U" [ P6 D) j& N
目前看来,微软不仅牢牢守住了自身的产品壁垒,也为自己开拓了全新的赛道和利润来源。但能否守住大模型时代的先发优势,有待进一步商业化验证。, c( S( H5 i' W+ k( s/ ^* N4 i
) J/ A$ e6 G, N 谷歌 :不能被低估的巨头,奋起直追防闪击% ^" y g& |3 ^+ k8 m; \7 |( _$ M
* j8 P1 ?8 g/ G% W: }6 e G# w
ChatGPT 横空出世后,微软立即与 ChatGPT 联手推出 New Bing——因为担心 GPT4 加持的 New Bing 将动摇谷歌搜索引擎的根基,Google 选择在 2 月份仓促应战——发布 Bard,给外界留下了大乱阵脚的印象,也影响到了人才的流出和资本市场的信心。 E" D) C- P9 c7 q
# t/ M6 @2 _, W* a$ H7 c! G 然而最新的二季度财报显示的超预期增长,加之此前 I/O 大会上所展示的全面技术布局,又成功让外界对其重拾信心。7 n# n3 ]' S5 [# \5 N) B: g) o
8 z6 b, w* k& \" b. [0 C3 u! Q& c1 R 这似乎也印证了,在已存在的市场,想利用范式革命颠覆当下的巨头,没那么容易。1 j4 `8 t' ^" {3 l- N) e
" e( d& w- S$ P+ F" D- A f
早在 2015 年,Google 就定下了 AI First 的目标。但因内部原因,错过了引领生成式 AI 的机会。Bard 之后,谷歌将背后的支持模型从轻量级的对话模型 LamDA 换成了 Google 自研的 PaLM 模型。今年 5 月,Google 发布了升级版的 PaLM2 模型,并一次性在包括 Gmail,Google Maps 等多个产品中添加了生成式 AI 带来的新功能,在 C 端标准化产品方面十分积极。其中,最吸引外界关注的是两项:PaLM2 能够在端侧运行的轻量级版本 Gecko,以及正在研发中的 Gemini 多模态模型。% E# Q7 L/ D$ l b4 U- t% T1 A& u
- T* @) T8 o+ b# [
当然,谷歌在 C 端拥有的强势基因,这项优势也被认为可能掣肘其在 B 端的探索——事实上,谷歌也将在 B 端发力:除了谷歌 TPU 外,新增基于英伟达 H100 的 A3 AI 超算,以及面向企业的 AI 平台 vertex AI。
+ e7 A. W9 H, P! p& S( B
. ? U3 g5 u% C/ [ 对谷歌而言,当下的局势无疑是危险的。在大模型时代,搜索这个领域必将被许多对手涉足,身为搜索巨头,谷歌随时可能被狙击,做好防守是它的死门。
# u, w; T5 P" Q" P
Q! @$ J8 D" o* A6 j) B8 \, K 极客公园了解到,经过年初的慌乱,巨头已经平静下来,开始了自己的动作。4 月,谷歌将 Deep Mind 与 Google Brain 合并重组为 Google DeepMind,由坚信 AGI 的 DeepMind 联合创始人 Demis Hassabis 担任部门领导,原 Google Brain 负责人 Jeff Dean 出任谷歌首席科学家——这样的架构调整不仅可以进一步聚集资源,更可以窥见谷歌追赶的决心。4 f; ?* o, a4 q, R
/ a4 R% N6 I) e, ]0 ? 合并后的 Google DeepMind 以及 Google Research,目标是攻克多个人工智能关键项目,其中*个即为多模态模型。有消息传出,谷歌正在用 Youtube 的视频数据训练 Gemini。鉴于大模型的下一个关键技术将是多模态,这增加了谷歌是否会*的猜测。) D/ o" D4 d* I3 ?
% K/ w0 p" s, U( v3 y 毕竟,谷歌拥有 30 亿级用户,在一年几百亿美金收入的前提下,也拥有强大的技术能力——这使得它即便反应不足够快,但只要在技术上不落后,也能利用规模优势守住自己的安全城池。7 f" |$ {6 v& Z8 r. B
! ^ z5 E* y. }' | 纵观巨头的商业布局,极客公园经广泛交流后总结出几个结论:/ ^( L8 j; A9 D
0 e; i$ @( Y, Q! h/ s 巨头间的恐慌期已经结束,纷纷重新瞄准了自己的目标,核心是维持自己在产业的最高位,同时,如果有机会对竞争对手进行攻击,自然也不会错过。% O6 |+ w8 ]/ m3 t. r. y( j
f" v4 S q5 N; B+ N! x" p- f
在大模型这波范式革命前,理论上,任意一家成熟公司利用好大模型则可能具备对巨头发起闪击战的能力,而任何一个巨头如果不能快速行动,将大模型融入产品,则面临着被降维偷袭的风险——如微软搜索之于谷歌搜索,微软云服务之于亚马逊云服务。, [! x3 J7 S% N
) y) z. u) \: N# i& A
大模型带来的可能性广阔而未知,此前确立的商业边界会重新模糊。: a7 Q$ D1 Z$ ?& \* Y8 W7 k1 I. f$ k
5 r0 R: k4 g7 s" w9 Z& Y
巨头训练自己的中心化大模型的目的,与 OpenAI 所常常谈到的「达到 AGI」不同,其战略意义更多出于防守。除了业务与 Chatbox(聊天机器人)强相关的 Google,各家未必强求训练出一个世界*的 ChatGPT 形态的产品,更在意的是使用大模型防守自己的业务,具备反闪击战的能力。
! Y+ h: u& w. |- i5 `, V1 Q
' }* J4 n& g5 l/ w 但由于技术尚在发展中,想利用大模型发起闪击战颠覆对手,或者用大模型本身规模化获益,也远没有想象中容易:微软自今年 2 月份推出 New Bing 后,曾一度被认为流量增长超过了谷歌,但 4 月以来,有报告显示,必应的搜索份额不升反降,截止 7 月,谷歌搜索的地位并没有被撼动的趋势。而一位计划用大模型服务 toB 领域的创业者告诉极客公园,巨头想用大模型提供标准化服务,也一定程度会陷入激烈竞争:以他所在的 SaaS 公司为例,其后台接入多个大模型(语言模型、翻译模型等)——OpenAI、Google、开源模型等,「让他们卷价格和性能去吧」,这位创业者这样说道。 x" O6 _& b; N* C/ U
5 x( n* B F! \/ P
此外,大模型时代的硅谷,「Brain Drain(人才流失)is very real」。多个从业者告诉极客公园。无论从历史还是当下,任何巨头不能使用大模型构建出有竞争力的业务,*的 AI 工程师就会很快流失。早在 2022 年,因为 Meta 专注于元宇宙概念,曾被曝出多个资深 AI 专家跳槽,伦敦分部几乎全部垮掉。OpenAI 早期更是从 Google 挖走了一百多人来扩展业务。而离开一家公司的* AI 程序员,在短期内基本不可能回流。: u2 t8 p0 ^. s$ j$ k2 I/ B3 D! A7 Y
+ x5 _5 I, q6 _/ \9 w/ }6 k* t- t6 } 最后,AGI 时代的云计算仍是*的巨头赛场——云计算本身就是巨头的生意,而训练大模型需要巨大的算力。正如同淘金热下,挣钱的将是卖铲子的人——大模型底层和应用均有较高不确定的当下,云厂商一定会从中获得利润,在当下,如何提供「更优质的云服务」,比如用更低的算力优化计算结果、满足模型训练的需求与场景,将是巨大的优势。; B& z, ?4 G9 Z& T O5 P
1 u' C" A" I; u8 y: I, |
03) C5 d8 A ?' e4 Y3 P4 k* m
) b" V3 \; E. x7 Y, b
中间层的繁荣,才能把应用「抬进」大模型时代, _" G$ x8 o4 j6 O5 _
0 s1 A. d' l; ^* Y
对于创业公司而言,一名硅谷创业者告诉我们,「美国现在是中间层在繁荣,已经几乎没有新的创业者要做下一个OpenAI了。」6 G- R6 k k3 _3 ~0 k" \
7 |* j+ ^" C3 c7 M! x' r) |, D5 e
所谓中间层,是指要将大模型融合到应用,中间所需的一系列工程能力、AI能力,由此需求出发,涌现出的一批「工具栈」——如开发工具链(如 Langchain)、模型工具链(做数据标注、向量数据库、分布式训练等)。
" \7 q" u# n% t2 I" A$ h! \
4 M' U# `3 S2 T0 \3 ` 「这类公司通常干的是苦活累活」,与此同时,由于业务壁垒浅(不是完成技术的从 0 到 1,而是完成 1 到 100),「中间层」最易受到上下游(大模型和应用)的挤压——比如诞生于 2022 年 10 月的 LangChain,你可以将其理解为程序员的工具库,因其能够帮助普通人(企业)构建大模型应用,为他们提供过程中所需的工具组件和任务集(LangChain 封装了大量 LLM 应用开发逻辑和工具),因而迅速崛起。但最近半年来,眼看着大模型的能力一再进化,并开放了插件,LangChain 的价值也受到冲击。: s6 G# N7 L, n8 J$ t
; t- t/ s" m6 s$ H# W$ ^
但极客公园在走访美国硅谷调研后发现,与年初投资人们的消极判断不同,鉴于巨头们都在入场中心化大模型,这为中间层提供了巨大的机遇,在海外,中间层正在蓬勃发展。
0 G" m: K, O; O$ d1 [0 s' s0 T* w0 P
正如云计算时代,Snowflake(基于底层云计算构建了它的数据库 PaaS 平台) 和 AWS 相互成就一样。大模型时代,中间层和底层算力平台(及基础大模型)也正在相互成就。这是因为算力平台的最终消费者是应用程序公司,而中间层的公司正在帮助做应用的公司快速部署大模型,这进一步增加了底层云计算资源的消耗。' ?& y' D9 e ~& j" X
' e5 l; P+ L' q8 I# O& j7 v 换句话说,中间层的繁荣,直接决定了底层云计算的「管道」能开多大,同时也是上层应用生态得以百花齐放的条件。在硅谷,中间层的一批公司正站在各自不同生态位上,把应用层「抬」进大模型时代,在这过程中,中间层自身也捕获了更大的价值。+ ~5 I& g9 y: U8 E- G T) V" y! _7 t
: \& g) }; P0 {# u
他们是怎么做的?( i/ |/ A: \+ b! Q1 G* L
! O4 r$ L+ j/ L0 K& R4 ?! {
Databricks 的信仰之跃:13 亿美元收购 Mosaic,数据平台摇身变为AI平台1 j. L4 Z% N5 K5 q6 B% _ s
2 `& Z8 V7 ]# n& F 原本,数据领域的格局一经确立、就难以松动:尤其是来自集中度高的行业客户,极其注重其数据的安全性与私密性,以维持自身的竞争壁垒。在海外,除了三大云厂商,Snowflake 和 Databricks 在数据领域做得*。这样的格局恒久稳定,除非一次革命性的技术跃迁,否则,数据领域的客户很难迁移——大模型时代带来了这次机会。
( V- F3 @ e6 c$ n |7 }6 V4 Z$ X* e1 `$ X3 I& h# x
Databricks 抓住了这次机会。3 }9 y: M& E) f# B' ^
) n+ q. e, _/ ? 成立于 2016 年的 Databricks 本是一个数据 + 人工智能的开发平台,因其早期数据湖的主张和布局(数据湖对 AI 能力要求更高),积累了一定 AI 能力。生成式 AI 爆火后,Databricks 通过一系列行动,迅速补上了大模型相关能力,这些行动包括:收购 Okera(数据治理平台)、发布 Dolly 系列开源模型、以及最重要的,以 13 亿美金收购开源大模型企业平台 MosaicML。7 k; h7 ~- B- A0 Q# P: m
h/ |. H% l: o) p' ?! p4 r# ? 13 美金的收购象征了 Databricks 的决心。这家公司比对手们更早意识到,在集中度强的行业,企业一定倾向于部署一个私有的大模型。
0 W' {, M# a5 q* M v; x; y3 i g2 r4 [3 Q: Z f# ]8 d3 `
现在的 Databricks 不仅仅是一个数据仓库,一个数据湖,还提供 AI 训练、模型管理等一整套服务。日前,他们发布了自然语言驱动的数据访问工具——LakehouseIQ,宣布提供开源 LLM 库——Databricks Marketplace,以及 AutoML(一种自动化机器学习技术)能力——Lakehouse AI。
$ r+ j# K2 Q& v5 ]1 O ^: ^" i6 k! z+ c5 s; y
这些工具与服务意味着,企业或个人能够更轻松地接入公司数据,用自然语言就能进行数据分析。
) A8 s% q" b& W' B5 b
8 q, t) J) I7 T4 U; O: L, V 过去一个月,不少行业人士认为,接下来,数据或许是软件公司利用大模型做出差异化最重要的因素——前提是算力成本的降低、开源模型的进步,以及模型部署服务的渗透。也因此,数据领域上下游的中间层公司,如 Databricks,将占据更重要的位置。
9 p& H k- ?4 |/ O
4 I. e$ p& m4 ~* K8 O 近日,Databricks 公布了一个数字:过去 30 天,在其平台上训练 Transformer 模型的客户超过 1500 家。这验证了在当下,中间层公司所面对的蓬勃需求。
5 B) Y' k% {# d0 l0 i, |9 L' C1 ^: ]* b* K. H F% G. R
据极客公园了解,Databricks 的毛利率高达百分之六七十——一位大模型创业者指出,Databricks 通过购买多家云厂商(微软、AWS 等)的算力,并叠加自身的 AI 训练、模型管理、数据管理等服务,以更高的价格打包出售,是其高利润的原因,「本质上是赚算力的钱。」7 V! I v7 q" X6 B5 w+ `6 W4 E
. i# u4 q! u( \" o
而 Databricks 联合创始人辛湜告诉极客公园,帮助客户部署 AI 或者大模型的有很多,但数据平台有天然的优势——「数据在这里」,AI 平台首先要是一个数据平台,才可以长久。. O- n1 P, `3 ^0 F/ o; E/ H
5 t" c0 I) l! O0 N( c" e! X Scale AI:
* j& b1 K5 x& F( k# h
9 y: d: y! f. e$ h 千金难买精标数据,效率为王
0 X+ S1 D; F" x' N7 G1 o9 @' ~+ D- j+ j
简单来说,收集、策划和清洗数据集是模型生产中*的挑战。, W5 j# P; `' J$ S3 S6 N7 W E
: D$ x7 ?$ b, R4 l6 A
大模型创业潮中,大多数企业在模型生产中花时间最多、花金钱最多、花精力最多,遇到困难最多的,是整理数据,做数据的特征工程、特征转化。$ m# ?* d+ ?% U# G
- N/ Y( ]% s p6 A. r# j
$ A8 k& v" B. a. _
4 d, ?& D6 x! n( T5 S$ L& } 据 AI Infrastructure Alliance 在 2022 年的年度调查显示,收集、策划和清洗数据集是模型生产中*的挑战。
: P1 U# B# \9 D% V/ r8 P) u
$ Q4 m- u5 }2 x6 v3 m; e/ W: ] 如今数据领域风头最盛的 Scale AI 创立于 2016 年,最初主要为无人车提供数据标注服务,后来逐渐积累了包括电商、短视频甚至政府机构的客户。过程中,它积累了 1000 人的科技管理团队,几十万来自全球的长期外包人员和严格的验收体系。这些积累使得它在大模型时代快速转身,为企业提供 RLHF 的微调业务。目前,硅谷*的 AI 公司,包括 OpenAI,Cohere,Inflection AI 都是它的客户。& a' ^6 b1 V1 f; H% t
2 i+ E/ ~* Y3 s" @1 A X 2016 年,19 岁的华裔创始人 Alexandr Wang 已经有了两年工程师经验。在硅谷的当红公司、美国知乎 Quora,他看到了硅谷科技大公司在和远程的外包人员合作上的效率痛点,于是,大一的他从 MIT 辍学创立了 Scale AI。
1 r" Y$ U# t5 O M2 i) h( j8 ?5 Y
传统大厂做数据标注时,欠缺的并不是技术,而更多的是对外包人员的即时反馈和管理。在数据量庞大的情况下,外包人员的数量会非常庞大,许多大厂会再找埃森哲这样的公司去替它们管理外包人员。这在无形之中使得外包人员、提供数据标注软件的工程师、以及真正需要数据训练模型的算法工程师——三者之间的沟通不畅。企业支付的价格很高,但数据标注质量却并不高。
/ x$ f4 o* H/ K5 R- Y+ B# [% W7 P$ r% g5 O: ~( J
Scale AI 的专长是利用超规格的工程团队和高素质的外包管理人员,解决数据标注的效率和成本问题。他们在全球招募外包人员进行数据标注,同时将总部设在硅谷,雇佣高质量的硅谷工程师根据企业任务快速构建新的数据标注平台,再根据外包人员的反馈及时对平台的功能做出调整。并通过全球化的招募系统,将价格降到*——相比于美国大厂为了保证反馈需要在国内招人标注,Scale AI 可以根据任务难度,将简单的任务分发给发展中国家的数据标注员,同时只需支付当地的*工资。0 H1 x) P" F1 ]6 c* t, s" [
0 Q2 O4 y3 s; D0 r& M
这又是一家快速转身抓住机会的公司。据极客公园了解,Scale AI 最初在 RLHF 方面并没有太深的积累,但是通过过去数据标注方面的积累和极强的工程能力,公司迅速开发出了适合 RLHF 标注的软件。0 |% X! Y: v- S
- B' z$ y# P6 L 借大模型的东风,Scale AI 预计今年业务将增长一倍,据悉毛利在 60% 左右。今年初,首席执行官 Alexandr Wang 在推特上表示,他预测 AI 实验室很快就会在人类标注数据上花费与底层算力同等量级的数十亿美元。
- k. e- n w9 K3 x4 t* X, W+ R7 F5 M( R% e' ?6 D' X9 ^- W
承接硅谷模型水平最高的客户和拥有最高数据标注吞吐量,利用这些优势,Scale AI 进一步提供了 Evaluation 和 api 服务。前者可以为训练模型的企业提供人工测试、给出客观的建议;后者则可以让企业自行接入模型,对模型进行特定业务能力的测试。; `. E8 @4 U) Q
, H7 K3 z6 K# P8 O1 {3 w
自成立以来,这家提供数据标注服务的公司已经经历了两次大方向的调整,但只要数据时代不断发展,永远会有新的长尾数据需要数据标注。这决定了这样的公司将被持续需要。
8 o \" U+ H' y- O1 l2 U! L: {8 {0 g4 p5 q/ S/ b& l
Hugging Face 崛起:开源、GPT4 的对手和百花齐放的企业模型/ I/ o: I- R4 @/ Y6 I, ^
8 r8 j+ C/ u0 O( F; P% y7 W) Q' w 无论是期待拉平 OpenAI 的大模型能力,还是企业想拥有基于自己的数据精调大模型,开源,都被寄予厚望——这导致了 Hugging Face 的崛起。
0 R3 m( y7 @' p6 f6 O; ~2 ?
8 N# t9 ]5 X5 b" v+ K Hugging Face 是一个专门针对机器学习的开源平台和社区,在当下则被视为大模型领域的 Github。截止极客公园发稿前,Hugging Face 上拥有超过 27 万的模型,超过四万八千个数据集。而仅仅一个多月前,这个数据还是 21 万多个训练模型和三万八千个数据集。增长速度十分惊人,其流行程度可见一斑。& I3 g% S3 ?, c& e v! J( e
! }4 {2 P! c4 d+ O r! j P% H9 K- f
成立之初,Hugging Face 只是一个做聊天机器人的创业公司,因为公司业务需要,一直关注 NLP 技术。Transformer 架构刚刚出现时,研究者想要接入大模型的成本很高,因为一次重写方案的分享(Hugging Face 分享了自己将基于 tensorflow 实现的 BERT 模型用 pytorch 进行了重写的方案),Hugging Face 受到了极大的关注。此后,在 Github 中由 Hugging Face 创建的 Transformers 库里,不断有其他研究者在其中添加自己的开源模型。很快,Transformers 库很快成为 GitHub 增长最快的项目,Hugging Face 也转身开始创建自己的开源平台。- Y1 f7 f4 s% |/ \, z- t+ [3 f
5 |. c. |9 e. w. R# v7 i: ]
Hugging Face 的中国区负责人王铁震告诉极客公园,在技术上,Hugging Face 针对 AI 的特点做了许多优化,比 GitHub 更适合 AI。例如 :
! g& P' Z. c+ V9 F' k, w9 @8 W. G4 ]
Hugging Face 支持大文件的上传。; \( ~7 c( ]5 y1 Z- ?- }
7 Z: G5 {3 @! O6 Q l' B7 |, b: S
免费提供 hosting,免费提供全球 CDN 的 deliver。
+ C' e/ W' D7 x' ^* d( ]+ M* o: x# Y
开发者在 Hugging Face 平台可以做版本控制以及开源协作,可使用交互式的方式直接展示模型效果,还可以一键部署,快速将模型部署到亚马逊云上使用起来。% x# v, E; K# B( b4 V6 \
& e# ?2 L7 G3 c0 j9 s' a) L1 t) S
文化上,Hugging Face 也做了许多细致的、ROI 并不高的工作,来培养开源社区的氛围。比如对*次来贡献代码的开发者进行非常细致的辅导。
" r% {- R- C7 d) {2 z5 m# c1 K$ S' }# b1 z/ X) C
从早期主要思考如何帮助研究者快速部署模型,Hugging Face 逐步向工业界发展,开始尝试提供更多的工具,让企业能够更快速地用上一个学术界发布的新模型。: o- l) ~8 v' t* v
, H$ B) Z( @& `) r7 v7 K$ {8 `
现在,通过 Hugging Face,企业不但可以直接通过 API 接入大模型的能力,也可以通过上传自己的数据,由 Hugging Face 在多种不同的模型和训练方法上,找到最适合企业的那一个,直接训练一个属于企业自己的大模型。
; D; `. b+ B$ f3 [$ R6 s9 {7 `2 D! R- d9 U- ~$ P& D
Hugging Face 没有特别披露过它的营收状态,但据福布斯披露,在 2022 年,Hugging Face 已接近盈亏平衡,拥有了英特尔、 eBay、辉瑞、彭博社等超过一千家客户,2023 年乘上大模型浪潮,客户只会更多。最新报道称,Hugging Face 的估值可达 40 亿美金。; s' @( \9 h8 z- ~4 o
/ @$ n: E- @! d; f7 Y# o 除了为大公司提供高附加值的定制服务,如果开源大模型继续发展,成为行业的主流,那么拥有几十万个开源大模型的 Hugging Face,也完全有能力为中小开发者提供标准化的产品。2 M$ u; \2 {7 B
+ _5 i3 E9 i2 v8 |3 n* h( e Moveworks:用 Copilot 再造% v- @6 E! _0 A# D! D& V
, S1 r* V4 e F 「受大模型冲击*的」RPA 赛道2 |% ?# I, p3 h1 w2 ^, k
) J+ U c! j4 m1 V c+ @8 v) ^* H RPA(Robotic process automation),即机器人流程化自动化,意为借由机器人和 AI,无需使用人员具备任何代码知识,通过拖拉拽,即可快速构建一个「可自动化执行的流程」。
3 a) O- O; `2 K8 K2 O1 K/ g: F* L
0 ]; a3 n. T/ n( X5 ^9 e 事实上,RPA 是无代码的一种,顾名思义,这意味不需要写代码就可以运行程序,约等于用自然语言进行软件交互,这正是大语言模型最擅长的事情。因此,RPA 也被视为最容易被大模型颠覆的赛道。
, F' u. p$ P8 M0 L1 E( o1 m4 L2 B. ?' ^
过去,Moveworks 这一公司深耕于 RPA 赛道。2016 年,Moveworks 创始人意识到,AI聊天机器人的潜力,可以在没有人工参与的情况下,解决很大一部分员工的支持问题。聊天机器人背后的模型可以为员工提供自助服务,以解决常见请求。
/ B1 Z, E# |# o5 [# }2 v. f
3 U a' ^& m; ? 最初,Moveworks 解决了员工的 IT 支持问题。2021 年 3 月后,Moveworks 扩展了其员工服务平台,以解决涉及其他业务线的问题,包括人力资源、财务和其他设施。Moveworks 还发布了一个内部通信解决方案,允许公司领导向员工发送交互式信息。: P# T; R) |+ k* m' v& f9 `" y
' H0 Z+ X4 O% j3 U, G& L
员工与 Moveworks 聊天机器人交谈,提交他们的请求,Moveworks 对其进行分析,然后通过与其他软件应用程序的集成来解决这些请求,包括:打通企业级系统的 API 和本地服务部署的系统(agent),和打通知识库系统。
% X M8 @# s- s! ^1 w. N
' V/ a% ?3 h* ^2 O 在大模型到来后,这家公司也完成了快速升级,从企业内的聊天机器人发展为帮助企业客户做 copilot,通过对话来连接人和软件系统。「在未来,公司的人力资源部可能变成模型资源部。」一位接近 Moveworks 的人士表示。这也为大模型时代的公司管理及雇佣、协作方式提出了新的想象。
7 z! w J) }3 t8 ?% f5 @/ h6 A' n, O; d& J
Sambanova 的狂想:软硬件全栈体系,挑战英伟达!
( ^/ q( Q9 @) m& O2 M& Z
( K* E$ N- a& l 硅谷的投资人觉得它的产品不错,而创业者们觉得它是疯子——成立于 2021 年的 Sambanova 充满争议。
) h" n+ ^! t& L& a! b7 l1 v+ u. a. w( m- E1 R, F& ~6 ?! {
原因在于,一家 500 人的公司既在做芯片、也在做模型,同时还要将模型部署到企业。号称要提供全栈服务的 Sambanova 目前已经募集了 6 轮共计 11 亿美元融资,估值 51 亿。最近一轮 6 融资为 6.76 亿美元,于 2021 年 4 月由软银愿景基金 2 领投,淡马锡和新加坡政府投资公司跟投。投资方还有英特尔资本、 GV (前谷歌风投)、贝莱德基金等。
# B1 j. J& q$ b1 b6 a
$ r" l/ ?1 \; M/ ^ 这家公司认为,伴随着人工智能崛起,需要与之匹配的新型计算系统。CPU 和 GPU 这样传统的冯·诺伊曼架构处理器倾向于指令流(flow of instructions),而非数据流(flow of data)。在这样的架构中,人们难以控制缓存数据的位置,也就几乎难以控制数据如何在系统中移动。
/ q5 Q4 P' a5 y2 O% _
! k! W& z( o9 Q5 q u% k 为此,Sambanova 以软件的视角重新定义硬件。「像 GPT-3 这样的大模型,需要串联上千块 GPU 进行训练、运行。」CEO Rodrigo Liang 说过,这带来了企业使用大模型的门槛。这家公司的愿景是消除这种门槛——通过提供包括硬件设计、软件构建、模型预训练和部署在内的服务,减少企业使用 AI 模型的复杂度和人力投入。7 p; L; q1 S# B: h
( c8 |/ r, W/ x! j# I: H 公司的三位联合创始人皆拥有出色的学术背景:其中两位为斯坦福大学教授——Kunle Olukotun 是多核处理器设计的先驱,另一位为机器学习教授 Christopher Ré。CEO Rodrigo Liang 此前为甲骨文公司的工程主管——这为其大胆愿景提供了几分说服力,毕竟,Sambanova 号称将英伟达视为对手。
$ B8 s/ L# f" m& g
' X& p3 ]' h5 ]( \! P7 L Sambanova 称,在其全栈系统设备 SambaNova Suite 上部署企业模型的成本,与 Nividia+Azure 云服务的方案相比,仅是其 30 分之一。公司的目标客户是希望结合内部数据,定制千亿级别规模参数以上的中大型企业和政府组织。目前,咨询公司埃森哲已宣布成为其客户,而更早之前,美国能源部的阿贡国家实验室 (ArgonneNationalLabs) 也是其早期客户,购买了其 DataScale 系统。0 x' c V7 I8 z. D! n( P, v
+ [( a V2 C8 C# T- C( ^# ~( x 04 M5 C1 E+ V$ _+ m% ^% L4 F* I- [
4 I- v' I! l7 ^ 应用层的窘境:热度最高,
, ~. K, k+ z7 m4 [0 Z0 N
+ j& T: r x' O; B# P' P 但还未真正「起跑」$ A! v- e ]( V
6 V. N4 v& ~/ S3 E3 d6 `. H7 d 一场技术变革能够真正抵达大众,最终靠的是百花齐放的应用。7 m- J2 ?/ { ~2 N
! O# J) ^, o7 T* [# Z 在当下,大模型应用被寄予厚望。无论在海外还是国内,相较于基础设施层、大模型层与中间层,应用层的创业热度是更高的——因为后者的技术门槛没有那么高,又直接面向用户、容易拿到结果,对于创业者来说更容易上手。
' T& U& ]$ \3 L5 g
5 P" r$ s' d' S$ ?
0 r2 Y4 d! ^ Z3 E
$ r* [" O& F+ y 上图为获得融资的生成式 AI 初创公司数量排名,排名前四的都是应用层,应用层公司占比在 80% 左右。' ?0 Q8 z5 c9 @+ }0 _$ ^ t
& S% r3 W! L' G5 e$ P2 t1 ` 下图为生成式 AI 初创公司的融资金额排名,应用层的融资总额也高于中间层 | 来源:Newcomer; A& L' M& A" }4 n9 G* h
* W% k9 t/ i7 J3 _ 但,大模型应用层的创业真的迎来了 iPhone 时刻吗?(注:2007 年,iPhone 发布揭开了智能手机的时代,2010 年,iPhone4 的发布和普及掀起了移动互联网应用的浪潮。)3 P, @" M2 k8 E( y
& K4 }4 L" y/ d& |+ z, J 实际上,当下大模型应用的创新正面临窘境。# _; }' K* l- G4 ?% m$ d* l
4 a9 N/ k. j/ v/ u
应用层的崛起需要倚赖稳定的底座,以及丰富的中间层工具。但绿洲资本创始合伙人张津剑指出,相较于海外的很多 AI 应用发展更早(如 AI 视频独角兽 Runway 成立于 2018 年、文案生成独角兽 Jasper 创立于 2021 年),中国大模型和应用层的发展几乎是同步展开的——从今年年初开始,这意味着,应用层发展所倚赖的条件仍不成熟。
& t% U: M0 I4 X& `5 R* G
+ Y4 H; D% E3 Q( J7 c5 k/ }9 S 按照跟大模型接入的深度,应用层创业可以分为两类:直接调用已有大模型(闭源模型 API 接口、开源模型)的应用、以及自建模型的应用。, n3 T6 h G% `6 M" K1 {' Q
; A6 B0 {0 c) x( L 百川智能创始人、CEO 王小川告诉极客公园,自研大模型的每次训练成本跟训练 token 数和参数量相关,在中国,每 1 亿参数对应训练成本 1.5 到 3 万人民币,一个千亿级参数的模型训练单次训练成本预估在三千万至五千万人民币。如果对于模型的能力有更高要求,比如追上 GPT4.0 的水平,单次训练投入超过 5 亿人民币。这样的成本门槛就已将许多人拦在门外。但是,通常在训练之前还需要做大量的实验来确定训练所会采用的策略,外加人力及数据上的投入,一个效果好的模型的整体投入会是单次训练投入的 5-10 倍。
$ C1 X3 L8 b+ v7 a4 q# m- |0 g1 W& W+ t' ~
如果在可商用的开源模型(如 Llama)上改,亦或是接入已有大模型,效率和效果也都未必令人满意。且鉴于国内大模型的能力较海外尚有差距,「大部分应用层创业使用的是海外模型,产品直接落地在海外市场。」应用层创业者王安屹告诉我们。
+ n& Q) ^9 Z) j3 y# n% B7 [3 m4 J0 c6 @! y( c1 S. o
技术如果天天跳跃,只做一层「薄」的应用是很容易被颠覆的——多名投资人表达了这样的看法。大模型的迭代速度极快,底层的技术飞跃将很大程度限制应用的发展。一个典型的例子是,在 GPT-4 发布后,辅助写作的独角兽 Grammarly 和 Jasper 的价值迅速被摊薄了。金沙江创投主管合伙人朱啸虎曾认为,「这两家公司或将很快归零,根本守不住。」
7 E- ^- {. b* N1 s( x' s4 D+ k( [+ \- p9 U
实际上,今天在中国要做一个基于大模型的超级应用,甚至能产生商业正循环的应用,对创业者的能力挑战非常大。类似百川智能创始人王小川、出门问问李志飞等极少数人,目前能同时具备「自有模型技术建立——行业调优——应用生产」的全栈能力,有机会脱离国内基础大模型的发展进度,开始构建直通应用的完整竞争力。而大部分在场景、交互、产品定义能力上有特点和优势的创业者,因为国内大模型本身的技术不成熟、产业链不健全,基本很难进行「端到端」的探索实践。
# i0 K. e: q. b k# l' I5 e' }. K i+ U
6 u" V6 J, J7 d4 \( |* D, K5 d 「恐惧和忧虑肯定是有的。」360 集团副总裁梁志辉告诉极客公园,一旦大模型的能力迭代至另一境界,的确可能颠覆团队半年来的所有努力,「但真正的玩家必须在这时下场,不管能不能赢,否则你连上牌桌的机会都没有。」梁志辉说。
. t X; E. K* k6 F, T7 @& l' Q- d
极客公园创始人张鹏也提及发起这次 AGI Playground 大会的初衷:「join and play to earn the lead time(加入并参与,去赢得*时间)」——在他看来,AGI 的技术变革必然蕴含巨大机遇,但当下,大模型带来的创业机会距离真正爆发还有一定时间,这时候无论创业者还是投资人,提前「下场」未必一击中,但「参与」、「实践」都是在为自己、或团队赢得「Lead time」,以便能在真正起跑时「Be ready」。
/ A `. Y' F; }% Y% n
! \1 G* r& h. x 「中 美创业者的勇气和心态有一定不同。」真格基金合伙人刘元提到。极客公园调研硅谷后也验证了这一点,相较于中国创业者,美国的年轻团队更敢想、敢干——在硅谷,我们接触到了一系列尚且「粗糙」的项目灵感:比如用 AI做训犬的 copilot、亦或是人类的社交助手。这或许和硅谷的创业文化相关,人们花更多时间思考差异化的价值,也更包容探索中的失败。3 T! S/ w+ j* U9 {0 H
" @, {# i* N4 H: g$ {3 h% G2 J
尽管当下应用层创业受到诸多限制,但客观上仍存在机会:比如,虽然模型本身已经具备了很多能力,但在一些需要更专业的数据体系支撑、对服务要求更高的场景中,模型的服务能力依然有限。
9 ?. N _# W$ q3 r5 n8 B/ P& l2 g# D3 j5 @7 @4 O7 ]
创业者王安屹指出,在 2G(政府)、2B(企业)等场景,这些领域的数据获取难度高,更容易形成壁垒。在国外,有专门做法律场景的 Harvey.ai 等公司。国内,也有创业公司主攻零售、医疗、营销等垂直场景——需要注意的是,在国内,数据化是当下的首要挑战,「企业普遍存在数据散落在各地、且难以被提取等问题,因此(产品)建立数据飞轮,可能要从帮助企业能更容易地收集数据开始。」. g0 M$ P' g) I# ^8 T/ W. H; @
& z% [/ j' [ u0 ~: M
此外,数据飞轮也能帮助应用产品形成壁垒、避开模型的能力边界。对此,投资人 Kyle 指出,随着大模型的每一次迭代,都有应用层的产品被唱衰。但随着时间推移,部分产品的表现依然很顽强,收入、用户等数据并没有如预期下降。
& t4 N5 H, z0 c) @( l
% R, \+ j' }3 l2 m 再以文案生成器 Jasper.AI 为例,尽管一再被「唱衰」,但用户反馈显示,Jasper 的文案生成表现依然处于市场*地位。创立两年,Jasper 已经积累了一定的用户数据,「这也是产品价值力的体现。」Kyle 认为,这来自创始人较强的工程能力(更好地调用大模型)、对业务场景(B 端文案)的深刻理解、以及时间上的先发优势。
3 H& F$ _! a: C( d) k& r% K$ L4 {* P# [9 q$ A2 L) w& t
对于创业者而言,找到场景、拿到需求至关重要——「悲观者往往正确,而乐观者往往成功」,张津剑说,「最终能胜出的应用层项目,一定是抓住一个确定的用户需求,通过不断的用户反馈和数据积累,进一步迭代产品,从而形成壁垒、避开模型的能力边界。」- H' b7 z2 A. x; W" L+ {; w
& @; I1 W- X& _8 W* W 05
8 J* }& f8 o) m- p: W2 O. Y
" W% I) y+ u) Q$ G+ d/ o 中国大模型生态推演:巨头是重要玩家,但不止是巨头的游戏
/ g1 b+ Z/ k& }/ U
: n u) L- V" x' J. U8 J% l; l/ H 在 ChatGPT 爆火后,国内玩家们历经半年的狂热,已逐步冷静下来。据极客公园观察,与年初相比,国内的创业者、巨头公司,其中不少人已放弃大模型军备竞赛之路,而转向更务实的思考——大模型最终如何落地?有怎样的应用价值?如何探索商业化?
$ o+ [* z6 u( |
+ I- \) F) S5 U% S$ _& L 经过 7 月初在上海的 WAIC(世界人工智能大会),三十多家大模型「百模齐放」,拥有大模型本身已经不再令人惊奇。从功能上而言,拥有文生文、文生图、代码 Copilot 能力的模型也不在少数。+ J( A# z/ h, ~% k
5 N! S5 u0 \" F+ v) X. G# a, a3 e* y
但整体看来,中 美大模型的商业生态呈现出不同的气候。
* U" I- C. E% `" J* C
: K6 x [& X3 ?7 u# S8 N/ a 从模型能力上而言,中国模型的能力大多处于初步可用、但不及 GPT3.5 的水平,开源可商用的模型亦相对缺乏,这也一定程度上影响了工具层和应用层创业;
5 o- _* |% |8 x, z3 h/ O
. w, D5 h& n1 G# ]4 l+ ~' h% d; U1 i* E 从商业生态而言,美国已经初步显现模型层、中间工具层、应用层的不同生态位。中间工具是围绕定制、部署、使用而出现的一系列工具,例如模型托管平台如 Hugging Face,模型实验管理工具平台 Weights&Biases,像 DataBricks、Snowflake 这样的数据库也在原有平台上叠加模型相关的能力与产品,目的是让企业级用户在平台上一站式使用数据定制化模型。
. `7 e5 `. x" s. Z; {1 V
6 c+ |0 O5 {& v# Q 而在中国,大模型创业公司之外,独立的工具层生态尚未成气候,目前提供相关功能的主要是以大厂为代表的云平台,外加零星的创业公司。而在产业探索进程上,中国 C 端应用尚未大规模放开,如百度、金山尚处于邀请码内测阶段,知乎曾发布基于大模型的新功能,也处于内测阶段,行业仍在等待合规。B 端服务则处于混沌状态,一些行动较快的模型创业公司尝试为企业做定制化模型,处于积累案例经验的阶段,而企业需求与技术提供方之间存在沟通隔阂,则是更普遍存在的情况,更重要的是,中国行业的信息化数字化程度整体较为落后,这显然会影响速度,但长远来看,留给模型厂商的空间更大。
+ b; j: V8 y- f% ?/ T* ~0 w3 |
& a. \4 _6 ?+ g 基于这些不同情况,现阶段中国创业者在大模型领域,所要解决的主要任务亦不同。* A5 D( i& T- P( a, Q! x
9 M: W% z' @3 P0 P. I) q( w
在中国,任何涉及 toC 的大模型服务,合规先行是必然趋势,合规模型将会率先在市场上提供服务,并在大规模 to C 的应用场景上获得先机;模型质量上,媲美 GPT3.5 的优质基础模型依旧是训练目标。而在训练过程中,由于算力整体有限,高效集中资源并使用,将更加重要。除了需要考虑算力的集中和分配,减少不必要算力消耗的训练技巧也将是重要的经验。2 r, ]( J- H9 g
# Z# V) q; A% ], U2 K2 Z
极客公园了解到,有消息表示,随着监管明确,*批合规模型放出是值得期待的。同时目前在 toB 领域的应用上,实际上已没有官方的合规要求,这将助推大模型落地企业,也将推动工具层和应用层发展。: m: v5 ?6 O5 g4 {1 w0 x5 W& b5 ^( t
& ?+ a2 s" y; l) T6 F 目前,模型公司纷纷宣布开源模型可商用,极客公园了解到,在参数规模上,国内的开源可商用模型将稳定在 13B (130 亿)左右的规模。趋势上,国内少数有能力的创业公司将继续训练更大规模的模型,并选择闭源;而也会有很大一部分企业,则会根据需求训练模型,不以规模为*的追求,而是满足业务探索需求。比如腾讯内部自研了一批从十亿到千亿规模的模型,金山为了更好地响应办公文档「WPS AI」的用户需求,内部也训练了小模型,作为接入的基础模型能力补充。 g9 ]4 ?! B: g' v
4 U8 o+ n- e/ d
另外,随着应用及场景拓展,模型输出能力的方式将变得更受关注。按照模型能力输出的方式,具体可以分为中心化和非中心化两种方式。
# ~( s8 p' v9 P$ [/ R" \; [' ]1 {7 B- t) {# i1 Z; N
中心化模式即企业调用通用大模型、或第三方行业垂直模型的 API 去构建业务功能;非中心化模式则是指,企业根据使用场景和功能,用专有数据微调(Finetune)拥有一个甚至多个模型。这样的专用模型甚至不必追求规模,可以相互协作解决问题。业界普遍认为,只需要在百亿参数规模上进行特定领域的知识增强,便能够在特定功能上达到比通用模型更加有效的效果。; L9 f1 n$ V) J. ^
# U o( K4 l2 b& I# V 极客公园在调研后认为,在中国(美国也类似),第二种非中心化模式的市场占比将会更高。按照百川智能的创始人王小川的观点,「80% 的价值可能是蕴含在非中心化的模型和服务里的」。实际上,像电商、社交、游戏等存在巨头、集中化程度高的垂直领域,巨头绝不会使用他人的模型来构建业务。& |$ X8 l' L7 N
4 p/ @# g8 _" q/ }6 T
背后的逻辑在于,在这些领域内,数据是关键性资产,通用模型不具备服务某一领域的能力,接入数据后才具有专业能力,但所谓的行业模型一旦模型能力全行业共享后,意味着一定程度上竞争壁垒的消弭,因此必然会形成各家在数据墙内训练专用模型的形态。未来,随着模型支持业务的场景和功能变得丰富,模型群落将逐渐形成。
. N* Q$ K- L9 L" @
) h( Q- c9 t8 _0 C$ ~ 金山办公是目前的典型案例,在测试阶段,金山办公已接入了 MiniMax、智谱、百度三家不同的基础模型对外提供服务,同时在一些简单的推理任务上,直接使用自研的小模型。
4 z- e' O" R. ` \3 i- K1 c; p, s0 V) F
而在集中度不高的商业领域,或者非完全市场化的一些关键行业,或许会出现一个领域模型以 API 服务多家的形式。华为发布盘古大模型时,同时发布在政务,金融,制造,矿山,气象等垂直领域发布模型,便是这种布局思路。) b% O/ |1 s8 {
0 Y! Q/ V8 u: S4 R; p( z$ u
此外,在中国未来的大模型体系里,巨头仍然会是大模型商业世界的核心玩家。
- _( P- g, V# @- [8 f7 U9 r7 w( y1 {+ y
中国尚没有出现 DataBricks、Hugging Face 这样的模型工具平台,取而代之的是各大云厂商推出的服务与平台。虽然对外宣传的侧重各有不同,但形式基本一致,以云平台搭载多个模型提供服务,其中包括第三方模型+自研模型。腾讯甚至在发布模型平台之外,发布了作为中间层工具的向量数据库产品。
; U9 p5 K7 m G [0 n; f3 z
- m% M! C; G2 v$ _ 最鲜明的是火山引擎,以 Maas 的形式在云上集结了多家大模型对外输出服务。同时火山引擎提出,未来企业使用大模型会呈现「1+N」的模式。而火山引擎推出的「模型商店」,目的就是方便企业挑选合适的模型进行组合。百度最早发布文心一言大模型,现在也已在百度上线第三方模型。火山引擎、腾讯虽然没有官宣,但趋势已经形成:自研模型将会和第三方模型一起在云平台上提供服务。
) U; b/ Y4 P* @+ T8 _- U! l8 n' z9 i- N/ e7 l! G# v1 @
在今天,巨头比任何公司都更警惕范式革命的降临。因为理论上,巨头随时可能被对手发起闪击战——一旦大模型能力注入产品提供颠覆性的价值,对于原有业务可能是巨大的冲击。而经历移动互联网时代多年的积累,上一代互联网平台已经呈现出生态位的复杂性。以阿里、腾讯、字节、百度为代表,它们既拥有现成的 to C 场景以及规模优势,提供云平台服务的同时也自研模型。当自研模型能力注入原有场景后,toC 领域的边界会重新模糊。由此也不难理解,为何巨头无法承受错过大模型的代价。$ `2 L/ }1 Z8 d& L7 p' G1 J1 X
, D; T2 m c4 ?$ k; a% }: a
复杂性亦体现在巨头和生态的复杂竞合关系中。6 g Z) ^* j, n
7 l5 D S3 ~8 W$ W5 j 在国内,巨头们纷纷聚焦云业务与「模型商店」的模式:既以云业务「服务」其他第三方模型创业公司,同时也有自研模型、有可能会与创业公司的模型竞争——这将带来的复杂问题是,无论是从技术上还是业务上,彼此的边界如何明确。
$ r0 p& o$ E" w- Y; E
0 j5 K/ R! ~/ S: x 以字节旗下的火山引擎为例,大模型领域的创业者如果用火山训练和部署了精调模型,归属权是否必须属于火山云?而未来的创业公司,如果在火山云上为客户提供 MaaS 服务,由此所带来的用户数据,与这家创业公司是否必须隔离开(即创业公司无法接触到所服务的客户的数据)?这些都是火山引擎曾经与创业者们的分歧所在。" X4 N3 p k, F! K' |
0 @- s2 y+ r; e& C/ V; _
精调模型的归属问题背后,也指向云平台的担心:创业者使用了云平台的算力之后,直接打包走模型能力和所服务的客户,于是云平台仅仅扮演了「一次性服务」的角色,并未成为真正的 Maas 平台。
* P* N1 h( }8 a
7 s6 x9 X0 }+ T. B, g; H 而数据隔离背后的逻辑更为复杂。首先,确实有安全性问题,模型公司进入,破坏了云平台原有数据安全体系,需要有所隔离。其次,模型公司如果不断接触用户数据,极可能以客户数据不断增强自己的模型能力,这将形成模型公司与 MaaS 平台关系的不平衡,会让平台角色退向算力供应商,而非在生态中更上的站位。这种非本地部署的 MaaS 方式,也会带来行业核心客户的竞争力流失,进而破坏云平台的存在根基。& @8 B+ c4 i; ~/ D8 x1 w
1 x5 w) O7 O: N! z5 c2 l, S' G* Q+ `
尽管被动,但目前,创业者又很难离开火山这样的云平台。不仅因为通过火山能够找到模型的潜在客户,更因为火山拥有算力,且提供的服务「很便宜」,「只有这里能训」。 P7 N! h8 j; ]3 p% \3 W0 h
! \7 x8 G( v) Q( t4 M) P 另外在 MaaS 模式下,巨头麾下的云平台本身与其他提供模型的第三方企业是合作与上下游关系,但巨头自研的模型,与第三方模型同样作为选项进入自家的「模型商店」,又会带来一定的竞争关系。长远看来,这样的竞合也会成为影响生态的关键因素。1 X) F1 q/ J- Q+ v k n( K
' a8 S! V, c% H( V. C, N
好在可以确定的是,丰富的生态中,绝不只有大模型这一个竞争点。在国内,巨头一定是最重要的玩家,但大模型绝不止是巨头的游戏。8 R, B1 B5 B7 Y( O
$ r" G8 ^: ?& ^ y& c+ ] 不少人认为,巨头无法对抗组织重力,「可能还不如小创业公司聚焦。」且在当下宏观环境中,国内巨头并不推崇无限扩张,这为生态上下游的创业公司都留足了机会与空间。在此背景下,业内人士认为,「大厂的战略投资部将重新变得重要,因为来自技术的狙击将随时发生,战投的使命是为公司探索未来。」
0 M! K' L; N# h q% y9 b7 h6 |% K
* ]$ D% a! F0 |) a! t/ L/ N 长期而言,围绕模型形成的生态和商业模式将成为竞争壁垒。据极客公园观察,国内的大模型创业公司已经在围绕模型培育生态,方式包括完善面向开发者的工具和技术模块,开源版本及社区运营等。
! l4 j4 V( m! p8 ^$ m7 L ~
. q& u- Q7 t& E0 B; h; m5 U* F" a 一个企业用户,是直接寻求模型企业的服务,还是选择云平台方案,会受诸多因素影响,比如成本、方案便捷性、行业竞合关系、对模型自主的需求、自身技术实力等。而互联网巨头目前的业务格局,既会带来快速渗透场景的优势,又可能会因本身业务多重性带来的竞合关系,存在一定牵制。* b. _- n& n# s& W1 p- m; b) l v
- d: `# T0 J/ G9 q6 I$ E
「百模大战」在中国很可能不会持续太久,有关大模型本身的竞赛也将很快不再是产业的焦点,谁能率先提升中国大模型的能力到 GPT-3.5 甚至 4.0 的水平、谁能在未来非中心化模型崛起的时代,「多快好省」地帮企业落地大模型构建现实竞争力、谁能率先把大模型能力落到细分场景和产业形成颠覆性创新,将是下一个阶段的核心看点。
+ m+ M3 L/ h7 F2 n0 M
, m2 ^3 W3 W- p5 F u7 S6 |
4 R; A2 ^& {; T* X; Z! m) P1 I 来源 微信公众号:极客公园 文 | 凌梓郡、宛辰、黎诗韵、 Li Yuan、卫诗婕% s7 e4 c1 K9 u/ z3 \1 E R7 T
|
|