peft方法

https://zhuanlan.zhihu.com/p/644523217

KV Cache
https://zhuanlan.zhihu.com/p/662498827

deepspeed 所有人都可以用得起
https://zhuanlan.zhihu.com/p/343570325

大模型基础
https://zhuanlan.zhihu.com/p/660529257

旋转位置编码
https://zhuanlan.zhihu.com/p/653958566

Lora
https://zhuanlan.zhihu.com/p/648351853

https://zhuanlan.zhihu.com/p/644524136

Transforme详解
https://www.bilibili.com/read/cv20387281/

https://zhuanlan.zhihu.com/p/338817680

deepspeed turtorials

Getting Started – DeepSpeed

集成deepspeed

DeepSpeed Integration (huggingface.co)

Trainer参数

4_trainer (huaxiaozhuan.com)

参数规模计算

https://www.cnblogs.com/LuisonLiu/p/17715680.html

分析transformer模型的参数量、计算量、中间激活、KV cache – 知乎 (zhihu.com)

反向传播算法推导过程（非常详细） – 知乎 (zhihu.com)

大模型推理性能优化之KV Cache解读 – 知乎 (zhihu.com)

[LLM]KV cache详解 图示，显存，计算量分析，代码 – 知乎 (zhihu.com)