OpenAI 谷歌天天刷流量，微软也坐不住了，推出最新小模子 Phi-4。

参数目仅 14B，MMLU 性能就和 Llama 3.3/ Qwen2.5 等 70B 级别大模子坐一桌。

数学才气上，Phi-4 在好意思国数学竞赛 AMC 10/12 上跳跃了 GPT-4o 等一众大模子，分数冲上 90。

编程才气亦然开源模子一流，跳跃了 70B 的 Llama 3.3 和 72B 的 Qwen 2.5。

更引起热议的是，微软在时刻敷陈中还提议了一个新的检会范式——midtraining。

这一举动让 Phi-4 领有了更强的长文本解决才气，窗口长度达到 16K 后，调回率依然保抓在 99%。

小模子挑战复杂推理

在常见基准测试中，Phi-4 得到了优异的文本解决和复杂推理水平：

在 MMLU 上，Phi-4 以 84.8% 的准确率跳跃了 GPT-4o-mini 的 81.8% 和 Llama-3.3 的 86.3%；

在照顾生水平 STEM 问答 GPQA 上，Phi-4 准确率达到 56.1%，高于同尺寸模子 Qwen-2.5 的 42.9%，致使跳跃了 GPT-4o 的 50.6%；

在数学测试集 MATH 上，Phi-4 以 80.4% 的准确率跳跃 GPT-4o-mini 的 73%，并接近 GPT-4o 的 74.6%；

编程才气方面，Phi-4 在 HumanEval 上以 82.6% 跳跃了其他开源模子，以及 GPT-4o-mini。

在难度稍高的 MMLU 和 HumanEval+ 上，Phi-4 的发达也跳跃了其他开源模子；在 ArenaHard、LiveBench 和 IFEval 上则发达欠佳。

另外，微软还用里面的基准 PhiBench 对模子才气进行了更全面的评估，铁心 Phi-4 得到了 56.2% 的抽象得分，展现出在推理、学问、编程等方面的全面才气，但比较于 Qwen 2.5-72B 等模子，如故披露了有待提高之处。

在 Phi-4 的宣传页中，微软还展示了其在一个具体的数学推理题目上的发达。

Phi-4 相等有档次地洽商了多样可能出现的情况，并谋略出了正确谜底。

除了这些惯例才气，微软团队还故意在长文本上测试了 Phi-4 的发达。

在 8K 和 16K 两种窗口长度中，照顾团队哄骗 HELMET 基准评估了 Pho-4 和其他模子在 RAG、QA 问答、长文本摘录等任务上的水平。

铁心，Phi-4 在多个任务上与同尺寸的 Qwen 2.5-14B 终点，部分谋划还可与 70B 的 Llama 3.3 一决高下。

不外，Phi-4 在某些任务（如 RAG 和文档排序）上，仍有进一步晋升的空间。

不同于一般大模子的预检会 + 后检会的两阶段方式，微软在两个阶段中间新加入了一个 midtraining 阶段。

在 10 万亿 tokens 限制的预检会完成后，Phi-4 不错解决 4k 长度的高下文窗口，而 midtraining 的观点是在此基础上进一步将窗口长度晋升到 16k。

照顾团队发现，自然的长高下文数据（如齐全的学术论文）比东说念主工拼接短样本更故意于检会长高下文才气。

因此，团队从学术著作、竹帛、代码库等高质地非合成文本中筛选出长度大于 8K tokens 的样本手脚检会集，何况对长度跳跃 16K tokens 的样本进行加权，以匹配标的长度。

为进一步丰富长高下文检会数据，照顾团队故意生成了昂扬大于 4K 长度条款的新合成数据，与信得过长文本数据共同构成了 midtraining 阶段的数据集。

最终，midtraining 阶段的数据包含 30% 新引入的长文本数据（筛选 + 合成）和 70% 预检会阶段的历史数据，限制为 2500 亿 tokens。

同期，为了稳健 16K 的长序列检会，照顾团队将 rope 位置编码的基频从预检会阶段的 2K 扩大到 250K；同期，为保证检会理解性，团队将学习率裁汰为预检会阶段的十分之一。

最终，Phi-4 在 HELMET 等长文本基准测试中发达出色，阐扬了 midtraining 阶段的有用性。

除此除外，在后检会阶段，照顾团队还提议了一种新颖的对比学习方法——枢轴 tokens 搜索（PTS）。

通过识别对模子输出影响最大的关节 tokens，并围绕它们构造正负样本对，PTS 不错生成高信噪比的对比学习数据，显耀晋升检会效用和后果。

除了 PTS 生成的对比学习数据，照顾团队还引入了东说念主类响应对比学习（Human Feedback DPO）。

他们招募了大王人东说念主员对模子输出进行评判，并据此构造优质的正负样本对，使得模子愈加面对东说念主类偏好。

One More Thing

不外 midtraining 并不是微软初次提议，早在 7 月份，OpenAI 就如故启动为伦敦的 midtraining 团队招东说念主了。

论文地址：

https://arxiv.org/abs/2412.08905

—  完  —

点这里� � 脸色我，牢记标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日邂逅 ~