近日，OpenAI推出了新的文生视频模型Sora，一下子碾压了Pika和Runaway等初创公司，许多创业者认为越“大”越好！但是大模型也有很多具体的应用环境，不需要那么高的算力资源，华为近期推出新论文，主要聚焦于“小”模型的落地上来，深耕工业领域的应用，也能够覆盖很大的工业范围，同时，在华为发布会上，余承东也宣布纯血鸿蒙将搭载盘古大模型！
2月16日，在OpenAI发布Sora的同时，谷歌“悄悄”发布了Gemini 1.5 Pro，在Bard最初灾难性的发布会后，谷歌花费近一年时间，终于追上了GPT-4，两家公司目标也非常明确，就是卷谁更“大”、谁的参数越多、谁的上下文窗口更长。
但是就在谷歌取得阶段性成果后，OpenAI全新的文生视频模型Sora，又将谷歌的关注全部抢走，这也是很多AI大模型领域公司所面临的巨大的竞争压力，每家公司都宣传自己在名称、图标和功能上全方位对标ChatGPT，而华为则是另辟蹊径，聚焦于工业领域。
ChatGPT的训练数据主要来自于互联网，而工业领域的文本数据具有很强的专业性，对模型进行微调定制会更适合工业领域，在去年4月份的AI大模型技术高峰会上，欧亚科学院院士田奇表示，盘古NLP大模型将推动人工智能开发从“作坊式”到“工业化”升级。
华为思路也很明确，希望能够打造一个真正能够解决工业难题的大模型，而不是一个简单的聊天机器人，针对种种挑战，华为盘古提出了1B参数的小语言模型，利用华为在工业领域拥有多年的积累，设计微型语言模型。
首先为了让小模型也能具备大模型的性能，华为对Tokenizer分词器进行压缩裁剪，大模型往往使用了大量词表覆盖各种语料库，但对于小模型来说，Tokenizer会占用大量参数影响模型性能，华为团队表示Tokenizer存在长尾效应，低频词占比高，但贡献率低，提出了一种基于词频的Tokenizer裁剪方法，例如对1B的参数级别，裁剪后可以将大小降低30%以上，PanGu-π-7B的词汇量仅为10万。
大模型凭借着强大的泛化能力，在各种NLP任务中取得了卓越的成绩，然而中小企业和研究机构很难负担训练大模型所需要大量的计算资源和数据，华为团队表示模型架构的宽度、深度和扩展率对性能有很大影响，其中更深的模型可以学习更复杂的语义关系，更大的宽度可以提高模型的训练和推理速度，对于小模型来说深度最重要，宽度和扩展率对模型性能的影响相对较小。
参数继承也能有效提升小模型的性能，华为团队分析不同层对模型效果的影响，结果表明，越靠近模型两端的层对模型效果的影响越大，删除一些中间层对模型效果影响较小，从而减少训练小模型所需的计算资源和数据，让中小企业和研究机构也能享受到大模型带来的红利。
华为盘古PanGu-π模型，还通过增强模型非线性来提升性能和效率，PanGu-π-1B与同级别规模的模型相比，推理速度提升约10%，而且准确度优于同规模的模型，华为选择“小模型”这条路也是非常有前景的方向，过去一年中，华为积极推动AI工业化升级，将盘古大模型率先应用于工业领域，在煤矿、水泥、电力、金融、农业等传统行业推动AI+工业发展。
华为盘古矿山大模型，帮助矿山企业实现智能采掘、安全生产、精益管理，华为盘古铁路TFDS大模型，进行智能铁路车辆故障图像智能识别，助力铁路行业提升运输效率、安全运营、故障预测，华为盘古气象大模型，提高气象预报的准确性和及时性，为气象防灾减灾提供支撑。
华为昇腾计算产品线总裁许映童表示，华为盘古的发布，将促进AI大模型生态的构建。华为盘古将提供开放合作的平台，这将吸引更多企业和开发者参与到AI大模型的开发和应用中来！
通俗一点来说，华为聚焦工业领域打造小而美的AI大模型的策略，训练数据来自于工业领域，更贴合实际应用场景，能够更好地解决工业生产中的难题，华为盘古大模型的参数量更小，因此部署和使用成本更低，更易于推广应用，中小企业往往缺乏足够的资金和技术实力来部署和使用大型AI模型。
华为盘古大模型采用了模块化的设计，可以根据不同行业和应用场景的需求进行定制和扩展，这使得华为盘古大模型能够应用于更广泛的工业领域，总体而言，华为小模型的思路确实让人眼前一亮，策略非常明智，能够帮助华为在工业AI落地领域取得领先地位，而且能够推动工业智能化升级。
华为纯血鸿蒙：搭载盘古大模型，全线自研投资超百亿！
华为回归：上半年营收3100亿，净利润暴涨3倍！
华为问界：搭载十大黑科技，问界M9来了！
华为和小米：达成专利交叉许可，包含5G技术！
小米发布会：小米14起售3999元，小米14Pro起售4999元！
三星发布会：全新AI，安卓机皇5999元起售！
华为“纯血鸿蒙”：1.2亿行代码，生态设备超8亿！
国产之光：摩尔线程显卡骨折降价，2499元降至899元！
英伟达：老黄再放超级大招，史上最强AI芯片！
黄仁勋：给AI圈一点小小的英伟达震撼，11分钟训练ChatGPT！
英伟达重磅：史上最强AI算力芯片，老黄发布会终极大招！
英伟达重磅：AI读取视频，可直出3D游戏模型！
英伟达：单日疯涨2000亿美元，狂赚一个AMD市值！
CES科技春晚：英伟达、AMD、英特尔三大厂商汇总！
CES科技春晚：索尼、三星等十大黑科技亮相！
CES 2023：英伟达发布4070Ti，ROG全系40系笔记本配置！
CES 2023：索尼汽车官宣亮相，打造元宇宙进军太空！
英伟达GTC22：40系显卡参数解读，你打算购买哪一款？
英伟达GTC22：40系显卡价格过高，老黄剑指元宇宙AI！
英伟达GTC23：核弹级AI芯片，专供ChatGPT速度提升30倍！
CES 2021：AMD6000系处理器发布，轻薄本畅玩3A！
CES 2021：英特尔12代处理器发布，最快的游戏CPU！
CES 2021：英特尔游戏性能怪兽，RTX 3090Ti发布！
CES 2021：英特尔首款ARM架构CPU，超x86架构十倍性能
英伟达：预计显卡短缺的情况会持续到2021年底
英伟达：3080Ti价格跳水，以太坊2.0升级与显卡矿难
天价NFT：从290万美金到280块，一年缩水99.99%！
矿难来临：显卡接近原价，华人首富身价缩水6000亿！
以太坊升级：30系显卡滞销，价格会崩到什么程度？
亲儿子跳车：“北美七彩虹”怒刚NV，老黄吃相有多难看？
30系破发：比特币暴跌，矿场巨亏要“爆金币”了吗？
#gd硬件杂谈# #gd的ai&游戏杂谈#