Test on 🌸沐雪-medicago🎀 https://3bfd66bd.hugo-blog-asi.pages.dev/tags/test/ Recent content from 🌸沐雪-medicago🎀 Hugo en-us medicago.19@outlook.com (medicago) medicago.19@outlook.com (medicago) All articles on this blog are licensed under the BY-NC-SA license agreement unless otherwise stated. Please indicate the source when reprinting! Thu, 09 Jun 2022 20:12:52 +0800 Markdown Basic Elements https://3bfd66bd.hugo-blog-asi.pages.dev/post/main/ Thu, 09 Jun 2022 20:12:52 +0800 medicago.19@outlook.com (medicago) https://3bfd66bd.hugo-blog-asi.pages.dev/post/main/ Markdown Basic Elements

Author: medicago(medicago.19@outlook.com)

Markdown 基本元素

标题

H1

H2

H3

H4

H5
H6

强调

Emphasis, aka italics, with asterisks or underscores.

Strong emphasis, aka bold, with asterisks or underscores.

Combined emphasis with asterisks and underscores.

Strikethrough uses two tildes. Scratch this.

列表

Definition List (dl)

Ordered List (ol)

  1. List Item 1
  2. List Item 2
  3. List Item 3

Unordered List (ul)

  • List Item 1
  • List Item 2
  • List Item 3

段落

Lorem ipsum dolor sit amet, test link consectetur adipiscing elit. Strong text pellentesque ligula commodo viverra vehicula. Italic text at ullamcorper enim. Morbi a euismod nibh. Underline text non elit nisl. Deleted text tristique, sem id condimentum tempus, metus lectus venenatis mauris, sit amet semper lorem felis a eros. Fusce egestas nibh at sagittis auctor. Sed ultricies ac arcu quis molestie. Donec dapibus nunc in nibh egestas, vitae volutpat sem iaculis. Curabitur sem tellus, elementum nec quam id, fermentum laoreet mi. Ut mollis ullamcorper turpis, vitae facilisis velit ultricies sit amet. Etiam laoreet dui odio, id tempus justo tincidunt id. Phasellus scelerisque nunc sed nunc ultricies accumsan.

Published on 2022-06-09 at 🌸沐雪-medicago🎀, last modified on 2022-06-09

]]> test BitNet（1.58‑bit）体系 https://3bfd66bd.hugo-blog-asi.pages.dev/post/llm_bitnet/ Thu, 09 Jun 2022 20:12:52 +0800 medicago.19@outlook.com (medicago) https://3bfd66bd.hugo-blog-asi.pages.dev/post/llm_bitnet/ BitNet（1.58‑bit）体系

Author: medicago(medicago.19@outlook.com)

# 1. BitNet（1.58‑bit）体系

Q1：BitNet 是什么？为什么叫 1.58‑bit？

✔ BitNet 权重只有 3 个值：

$$ {-1,\ 0,\ +1} $$

✔ 表示 3 个状态所需的最小信息量：

$$ \log_2(3) = 1.58496 $$

所以叫 1.58‑bit（理论值）。
实际存储用 2-bit + 压缩 达到平均 1.58-bit。

Q2：BitNet 的激活是什么格式？

激活也是 ternary（−1, 0, +1）。

Q3：BitNet 的训练方式是什么？

必须使用：

  • FP32 shadow weights
  • ternary quantization
  • STE（Straight‑Through Estimator）
  • 特殊初始化
  • 特殊正则（鼓励权重靠近 −1/0/+1）
  • 特殊优化器
  • 特殊激活函数

不能直接量化 FP16 模型得到 BitNet。

Q4：BitNet 的推理框架（bitnet.cpp）能训练吗？

不能。
bitnet.cpp 只负责推理，不包含训练代码。

Q5：BitNet 的优点是什么？

  • 推理速度极快（CPU 上可达 2–6×）
  • 能耗降低 55–82%
  • 权重和激活都可用查表 / bitwise 实现
  • 理论上可在 CPU 上跑超大模型（100B）

Q6：BitNet 的缺点是什么？

  • 训练极难
  • 表达能力弱
  • 需要大量工程技巧
  • 目前没有高质量的大模型（7B/13B/70B）成功训练
  • 第三方模型质量明显低于 FP16

# 2. STE（Straight‑Through Estimator）

Q1：为什么量化需要 STE？

量化函数是分段常数：

Published on 2022-06-09 at 🌸沐雪-medicago🎀, last modified on 2022-06-09

]]> test