GPT3参数量

GPT-3核心参数规模

1. 多版本配置

• 最小版本：1.25亿参数（GPT-3 Small）
• 中等版本：67亿、130亿参数（如GPT-3 XL、GPT-3 13B）
• 最大版本：1750亿参数（GPT-3 “davinci”），这是实际部署中最常用的主力版本。

2. 参数量的意义

• 能力跃升关键：1750亿参数使GPT-3首次实现强效的少样本学习（Few-Shot Learning）能力，即仅通过提示词示例即可完成新任务，无需额外微调。例如，输入“2+2=4；3+3=6；5+5=？”后模型能直接输出“10”。
• 对比前代：参数量是GPT-2（15亿）的117倍，直接推动其在逻辑推理、代码生成等任务上实现质的突破。

GPT-3参数设计的工程逻辑

1. 架构分布

• 96层Transformer解码器：每层包含注意力机制和前馈网络。
• 隐藏层维度12288：每个token的向量表示长度，直接影响语义表达的精细度。
• 96个注意力头：并行处理不同语言模式。

2. 参数与性能的非线性关系

• 突现能力阈值：当参数量超过约100亿时，模型开始涌现小模型不具备的能力。
• 成本权衡：1750亿版本的训练成本（约3.14×10²³ FLOPs）是130亿版本的10倍以上，但性能提升显著（零样本准确率从63.4%升至76.2%）。

GPT-3与其他模型的对比

1. 纵向演进

• GPT-2（2019）：最大15亿参数，需依赖人工指令完成简单任务。
• GPT-3（2020）：1750亿参数，首次实现通用场景下的上下文学习，成为大模型“规模即能力”范式的里程碑。

2. 横向对比

• 训练数据需求：GPT-3使用约3000亿token训练数据，按OpenAI的Scaling Law理论，最优参数量约为训练token数的0.1倍（即300亿），但实际选择1750亿是为了探索“超配”区域以最大化少样本性能。
• 后续模型：GPT-3.5/4未公开确切参数量，但GPT-4采用混合专家（MoE）架构，总参数量估计达1.8万亿，远超GPT-3。