llama3来了，提升大吗？羊驼家族还能引领LLM开源浪潮吗？
94 个回答
去年，Google说，我们没有护城河，OpenAI也没有。
现在Google最先进的模型是Gemini 1.5 Pro，直接Llama-3 70B干到了。 每年闭源模型的护城河可能都要被扎克伯格抽干一次，
今天发布的Llama-3 70B，和Gemini 1.5 Pro，Cohere CMD R+，Claude Sonnet，老版GPT-4差不多处于同样的分界线。（等lmsys排行榜）
400B+已经蓄势待发，挑战Opus和GPT-4四月版，这大概就是Dario 所说的1亿美金级±的模型。
气氛看起来很焦灼。
Qwen，Cohere暂时没有货，
Mistral训练出SOTA估计也不会开源（至少不会立刻开源，据Bindu透露已经在训练中）。
Meta看起来已经掌握了核心科技，
那么，引领开源的还能是谁呢？
扎克伯格：正是……
马斯克：正是在下！
也许开源方面，我们可能看到羊驼3与Grok2的对局吧。 闻到了八角笼战的味道，哲学味满满……
很强，目前的llama 3 70B可能就是最好的70B模型，从基础benchmark来看已经足够好，真的是一棒子打晕了国内所有大模型公司。性能上来说感觉就是GPT-3.7的水平。一己之力急速拉高了开源水位。
从model card来看，核心似乎是：Scailling law里面数据层面的暴力出奇迹。
llama 3 在15T tokens上进行了训练，这是个很恐怖的数字，作为对比，国内大部分千亿参数大模型可能在2-5T之间的数据量进行了训练。
且在数据的规模之外，数据的质量也至关重要，model card中提到使用了大量的代码。
这个数据量对应这个参数，直觉上感觉是探明了一定尺寸的天花板，换句话说中文化可能很难做。
Post-Train部分没提出多少花活儿来，也没体验过，也没放出来对其榜单的水平，不好判断。等社区测测ifEval之类的对齐榜单水平如何。
在训练资源方面，不得不说美国还是真的资源丰富，2.4万卡集群训，国内谁有这条件...其实大厂有2.4万卡的，但没有单一集群，也估计一次性用不起来，sigh，我们在infra层面似乎跟海外也差距越拉越大。
最后就是还有个400B在炉子里，但感觉...开源社区也没人跑得动啊...70B能跑起来的也很少啦，可能很多企业会基于这个70B去做微调吧，cohere又要难受了...
总之，meta才是真正的OPENAI！