模型改造与架构搭建
构建适合字节化的潜分词语言模型架构
在字节嵌入中加入最长的子词后缀嵌入，局部编码器用mLSTM层，非因果边界预测器使用1字节前瞻，池化为patch表示，经冻结的全局Transformer后解池并由局部解码器处理，语言建模头预测下一字节及边界
关于丁香通
公司信息
个人用户
企业机构
无忧采购 轻松科研
- 移动端
改造语言模型以在字节上运行
Retrofitting language models to operate over bytes
实验完整度
高含完整架构与两阶段训练流程、多规模模型改造、多基准评测及压缩效率和任务算术后训练验证
主要模型
Bolmo 7B和Bolmo 1B字节级模型 Bwen 8B和Blama 8B字节级模型 源子词级模型（Olmo 3 7B、OLMo 2 1B、Qwen3 8B Base、Llama 3 8B）
重点核对
两阶段训练：阶段1使用9.8B tokens，阶段2使用39.3B tokens，总计49.1B tokens 阶段1损失权重λB=4、λE=1、λD,Distill=1、λD,CE=1，蒸馏温度τ=5 边界预测器使用1字节前瞻的余弦距离，局部编码器、解码器采用mLSTM层 评测采样设置温度=0.6、top_p=0.6，统计检验采用10,000次bootstrap重采样及Holm–Bonferroni校正 数据混合约172B tokens，另加约75M tokens的CUTE式字符级数据（词表150,000词）
摘要
人工智能（AI）的最新进展在很大程度上由大语言模型推动，这类深度神经网络在称为token的离散单元上运行。为表示文本，大多数大语言模型使用单词或单词片段作为token，即子词分词（subword tokenization）。子词分词掩盖了细粒度信息，这对科学数据（如计算机代码或生物序列）尤其成问题，因为其含义取决于单个字符或字节。直接对文本的字节编码进行操作的模型可避免这些限制，但迄今为止其在性能上落后于基于子词的模型。本文提出一种通过字节化（byteification）创建字节级大语言模型的通用方法，使其能力接近基于子词的系统。我们采用两阶段转换流程，以极少的额外训练将现有基于子词的模型改造为字节级模型。所得模型优于早期字节级方法，在字符级推理任务上表现出色，通过高效处理字节级信息实现实用推理速度，并通过复用源大语言模型周围的现有生态而具备适应性。我们的结果消除了端到端字节级语言建模长期存在的性能障碍，表明在原始文本编码上运行的模型能够以有竞争力的方式扩展，同时在需要细粒度文本理解的领域具有优势。
实验结论
提炼研究问题、关键发现与证据，快速把握文章的核心贡献。
- 研究问题
- 能否将现有基于子词的大语言模型以低成本改造为直接基于字节运行的模型，同时达到接近子词级模型的性能？
- 核心机制
- 字节化：非因果边界预测（使用1字节前瞻）配合两阶段训练，阶段1通过子词到字节的蒸馏恢复源模型行为，阶段2端到端训练并可选提高每patch字节数。
- 主要证据
- 对Qwen3 8B、Llama 3 8B、Olmo 3 7B及OLMo 2 1B进行字节化，在字符级、代码、数学、STEM等基准上评测，Bwen 8B显著优于所有早期字节级模型，Bolmo 7B在STEM任务上较BLT 7B绝对提升16.5%，且接近源模型性能。
- 研究意义
- 消除端到端字节级语言建模的长期性能障碍，使字节级模型成为实用选择，并可能降低能耗与部署成本、减少英语中心子词分词带来的偏差，利于科学和技术领域应用。
研究路径
按研究推进顺序梳理实验设计、验证步骤与关键观察。
阶段1子词到字节蒸馏
以最小成本使字节级模型复现源子词模型行为
冻结全局模型，训练局部编码器、解码器、边界预测器和语言建模头，使用边界损失、编码器L2损失与蒸馏损失及交叉熵损失的组合
阶段2端到端训练
使模型适应端到端设定并学习利用字节级信息
全部参数（含全局模型）联合训练，仅保留边界损失与交叉熵损失，可选提高压缩比
模型性能与效率评测
比较字节化模型与源模型及早期字节级模型，并评估压缩效率与后训练迁移
在7B和1B评测套件上评测字符理解、代码、数学、STEM等任务，测试SuperBPE与不同合并策略下的压缩效率，并用任务算术从RL-Zero检查点向Bolmo迁移指令遵循能力
研究方法
按研究目的归类文中使用的方法，便于定位所需技术。
产品清单
| 实验环节 | 名称 | 品牌 | 货号 |
|---|---|---|---|
| 模型训练与推理 | PyTorch 2.8 | -- | -- |
| 文本生成 | vLLM 0.11.0 | -- | -- |
| 分词训练 | FOCUS | -- | -- |
| 字符级数据生成 | CUTE代码库 | -- | -- |
| 性能测量 | H100 GPU | -- | -- |
关键环节
汇总复现实验时建议重点确认的条件及原文阅读提示。
| 环节 | 核对要点 |
|---|---|
| 两阶段字节化训练 | 阶段1使用9.8B tokens、阶段2使用39.3B tokens，总计49.1B tokens；数据混合约172B tokens加约75M tokens CUTE式数据；损失权重λB=4、λE=1、λD,Distill=1、λD,CE=1，蒸馏温度τ=5 阅读提示：查阅Methods中Experimental set-up的Data与Training小节及Extended Data Table 4 |
| 边界预测器设计 | 非因果边界预测使用1字节前瞻的余弦距离，解码时由局部解码器输出边界符号；字节词表由256扩展为512 阅读提示：查阅Byteified language model architecture小节及Fig. 1 |
| 评测与统计检验 | 7B与1B评测套件组成、采样设置温度=0.6与top_p=0.6、bootstrap次数N=10,000及Holm–Bonferroni校正 阅读提示：查阅Methods中Evaluation与Statistical tests小节及Extended Data Tables 1和2 |
| 效率与压缩实验 | SuperBPE词表大小200k和400k、10-GB文本样本、每点150,000步训练、效率测量batch size=1于H100 GPU 阅读提示：查阅Increasing model efficiency小节、Fig. 2与Extended Data Fig. 3 |
| 任务算术后训练 | 使用Olmo 3 RL-Zero检查点，将后训练检查点与基础Olmo 3的Transformer层权重差加到Bolmo对应层，评测IFEval（n=834，10,000次bootstrap） 阅读提示：查阅Post-training byteified models through task arithmetic小节与Fig. 3 |