事关路由 LLM（Routing LLM）夜夜撸改成什么，一项放胆咫尺最全面的揣测，来了——

推断集会和整理了波及8500+ 个LLM，在12 个Benchmark 上的共2 亿条性能纪录！

先来简便科普一下路由 LLM。

这种身手主如果把像 ChatGPT、Qwen、DeepSeek 这些成型的 LLM 作为 "巨匠" ，当给一个输入的时刻，有分类身手的Router（路由器）就会把这个输入分派给适当的 LLM 处理。

如斯一来，就能杀青高性能、低计较破费、低幻觉等看法。

而来自中山大学和普渡大学的揣测东说念主员在基于上述海量的纪录作念了一番探索之后，发现了一个喜跃，叫作念Model-level Scaling Up。

一言蔽之，即是一个好的 Router，可以让开由 LLM 范式的性能跟着 LLM 候选数目的加多马上变强。

随后，他们通过这些数据构建了针对 Router 设想的评测RouterEval。

值得提神的是，其他揣测东说念主员，也可以通过 RouterEval 在很少的计较资源下（如笔记本、单卡 GPU上）就能参与到该路由 LLM 的揣测当中。

2 亿札纪录中发现的新喜跃

当大多数揣测东说念主员和确立者第一次听到 Mixture-of-Expert ( MoE ) 的时刻，可能第一响应不是咫尺常见的对结构中的 FFN 层进行膨胀，以 FFN 层作为" expert "。

而是告成将每一个成型的 LLM，比如 ChatGPT、Qwen、DeepSeek 等告成看作念是" expert "。

实践上，这种范式也称为路由 LLM（Routing LLMs）。

简便地说，即是给定一个输入 input，一个具有一定分类身手的 Router ( 路由器 ) 会将 input 分派给指定的 LLM 进行处理，以达到高性能、低计较破费好像是低幻觉等多样各类的看法，或组合看法。

这类问题可以被以为是分类问题、保举系统问题、Agent 研究以致是检索问题（提神，不是检索数据 for LLM，而是检索 LLM for 数据）。

一些典型的例子有：

东说念主机客服切换：机器东说念主客服无法处理问题的时刻自动切换到更高等的客服，比如更智能的机器东说念主，以致东说念主类；

强弱 LLM 切换：比如艰辛问题给 GPT4 处理（用度贵），简便问题给 GPT3 处理（用度低）

△路由 LLM ( Routing LLMs）暗意图

路由 LLM 具有很高的应用后劲和兼容性，不同 LLM 齐可以被添加到 LLM 候选 Pool 中参与 routing（包括异构 LLM，多样 tuning/pretraining 身手下得到的 LLM，等等），何况可以弘扬很强的性能。

比如最近 UCB 提倡的 Prompt-to-Leaderboard 以很低的老师本钱，以路由 LLM 的范式下杀青和需要数十万个 GPU 老师得到的 Grok3 异常的性能，并登上 Arena 名次榜第一。

关联词面前路由 LLM 范围仍然存在一些挑战影响了 Router 的发展：

缺少调处的 benchmark。各个揣测齐在小范围的构建多样的 benchmark 进行揣测；

面前 benchmark 不够全面：面前的职责一般只波及少许的 LLM、evaluations，何况大多数是闭源不公开。

于是夜夜撸改成什么，揣测团队集会并整理且开源了波及 8567 个不同 LLMs 在 12 个 evaluations 下 2 亿条性能纪录，并通过这些纪录发现：

Model-level Scaling Up 喜跃：有一定身手的 Router，可以使得 routing llm 范式下的性能跟着 llm pool 的扩大而马上高潮。畴昔的揣测由于波及的不同 LLM 较少，唠叨易不雅察到这个喜跃。

通过这些数据，咱们构建了全面的针对 Router 设想的评测 RouterEval。其全面性可以大大匡助 Router 设想的探索。鉴于该测评还是整理讲究且很自便，可以被看作念是传统的分类问题，总计揣测者齐可以以很少的计较破费（以致单卡或笔记本电脑）参与该大模子的揣测当中。

△Model-level Scaling Up 喜跃暗意图

愚弄 2 亿条性能纪录，可以构建完好 Router，即 oracle Router ro：

接着，把柄上式可以构建不同性能的 Router ro ( p ) ，其中 wm 为随即 Router，当 p → 1 时，Router ro ( p ) 越处理上界分类性能，吉吉影音偷拍当 p → 0 时，ro ( p ) 越接近随即 Router。

从上图着力来看，跟着 LLM 候选的数目加多，不同的 evaluation 在具有一定身手的 Router 下呈现了 Scaling Up 喜跃。

而性能一般的 Router，比如随即 Router 则险些莫得 Scaling Up 喜跃。

且快速逾越参考模子 Ref. LLM 的性能（参考模子一般是 GPT4）。

另外团队还可以发现两个道理道理的喜跃：

RouterEval 波及的 LLM 的参数散布

弱 LLM 也能组合出相称强的性能。上图给出了 RouterEval 中波及的 LLM 的参数散布，LLM 的参数为 7B 或以下的情况占优。著述发现，即使较弱的 LLM 也可以组合出可以的性能，比如 5 个性能在少于 0.3 的情况下，ro 可以让他们互补上风在 MMLU 上达到 0.95（突出 GPT4）的性能。

少许的 LLM 候选还是实足。从 Model-level Scaling Up 喜跃暗意图可以看到 3-10 个 LLM 候选的时刻还是可以达到相称可以的性能。何况此时的部署本钱并不高，具有很高的性价比。

面前 Router 的着力

通过测试面前的已有的 Routers 的性能，可以发现咫尺 Router 仍然有很大的提高空间。

不外红运的是，RouterEval 进行的 Router 设想的实验不需要深广的计较资源，且可以融入不同的已偶然间，包括 few-show learning，数据增强、保举系统、正则化身手、预老师模子、稀奇数据等等 .

因此 Router 将有但愿快速得到本色性调动。

以及，和面前一些其他范式的分歧和关系如下：

保举系统：Routing LLM 其实是特殊的保举系统，LLM 的 input 是保举系统中的 user 信息，LLM 候选是保举系统中的商品 item，而性能纪录则是保举系统中的历史用户秘书纪录；

LLM 集成：一般 LLM 集成是 post-decision，即让多个 LLM 完成推理后再并吞。而 Routing LLM 是 pre-decision，即在 LLM 推理前就要决定是哪个 LLM 来处理；

LLM Fusion：LLM 会通主要针对是同质的 LLM 的"协作"，而 Routing LLM 可以让"异质"（包括不开源）的 LLM 进行"协作"

Mixture-of-Experts ( MoE ) : Routing LLM 是 model-level 的 MoE

虽然，揣测团队也提倡一些将来的挑战。

最初即是缺少数据。

要获取实足好的 Router，虽然的数据仍然远远不够，因为这些性能纪录的数据一般不开源，且掌持在大公司手中，这需要全社区的共同悉力。咫尺也可以通过算法一定进度缓解数据缺少的问题。

其次是怎么保持在多 LLM 候选情况下的 Router 性能的问题。

当 LLM 候选越多的时刻，意味着 Router 要进行更多类的分类，这关于 Router 的老师来说具有很高的挑战性；

除此以外，还包括RouterEval 咫尺只关爱在性能。

尽管 routing llm 可以谈判计较破费、幻觉等其他看法。然则咫尺性能的水平还远远不够，如果咫尺就过度关爱其他看法的话，可能言辞尚早。另外，计较破费和幻觉等看法的数据唠叨易征集，可能采集不到实足多的 LLM 的纪录数据，仍然需要全社区的悉力。

临了，即是部署的难度。

即使实足强的 Router 可以获取，然则此时 LLM 候选的部署可能是新的瓶颈，这在计较机系统等范围中也有许多的揣测角度，如计较负载，高效分派、动态模子激活等。红运的是，从论文的不雅察来看，3-10 个 LLM 还是能得到出色的着力。

GitHub 和论文等地址放底下了，感兴致的小伙伴可以潜入揣测一下哦 ~

代码地址：

https://github.com/MilkThink-Lab/RouterEval

论文地址 :

https://arxiv.org/abs/2503.10657

论通知籍：

https://github.com/MilkThink-Lab/Awesome-Routing-LLMs

一键三连「点赞」「转发」「留神心」

宽饶在评述区留住你的念念法！

—  完  —

学术投稿请于职责日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 表情主页贯穿，以及联系形势哦

咱们会（尽量）实时恢复你

� �   点亮星标 � �

科技前沿进展逐日见夜夜撸改成什么