https://makinaruto.github.io/tags/gpumemory/Recent content in GPUMemory on MakiNaruto's BlogHugozh-cnWed, 15 Jan 2025 00:00:00 +0000https://makinaruto.github.io/posts/nlp/llm_learning/gpumemory/Wed, 15 Jan 2025 00:00:00 +0000https://makinaruto.github.io/posts/nlp/llm_learning/gpumemory/<h2 id="存储分类">存储分类<a class="anchorjs-link" href="#%e5%ad%98%e5%82%a8%e5%88%86%e7%b1%bb"></a></h2><p>首先先看看模型计算过程中, 哪些过程需要被存储下来.<br> 存储主要分为两大块：静态显存 + 动态显存<br> M_total = 模型参数 + 梯度 + 优化器状态 + Activation<br></p> <p>Model States 指和模型本身息息相关的，必须存储的内容，具体包括：</p> <ul> <li>parameters(固定)：模型参数</li> <li>gradients(固定)：梯度</li> <li>optimizer states(固定)：优化器状态，例如 Adam 优化器的 momentum 和 variance 等。</li> <li>activation(固定)：激活值。虽然它不是必须存储的，但在训练过程中会额外产生的内容.</li> </ul> <table> <thead> <tr> <th>Model States</th> <th>精度</th> <th>Bytes</th> </tr> </thead> <tbody> <tr> <td>Model Weights</td> <td>FP16</td> <td>2</td> </tr> <tr> <td>Gradients</td> <td>FP16</td> <td>2</td> </tr> <tr> <td>Master Weights</td> <td>FP32</td> <td>4</td> </tr> <tr> <td>Adam Optimizer (m/v)</td> <td>FP32</td> <td>8</td> </tr> <tr> <td>Total / 总计</td> <td>-</td> <td>16 Bytes</td> </tr> </tbody> </table> <h3 id="activation">Activation<a class="anchorjs-link" href="#activation"></a></h3><p>M_act ≈ C × L × B × S × H × bytes</p> <p>📊 显存优化效果对比<br> 无 Checkpoint : C≈10~15 (显存占用极高)<br> 开启 Checkpoint : C≈2~4 (显存降低3~5倍)<br> FlashAttention : C≈1.5 (显存占用最低)<br> Checkpoint的核心策略, <strong>用计算换取显存</strong>, 反向传播时重算部分激活值，大幅降低峰值.<br></p>