LLaDA

LLaDA是中国人民大学和蚂蚁集团联合开发的一种大规模扩散语言模型。与GPT等自回归模型不同它通过扩散过程生成文本，在生成质量和效率上展现出不同的特性。8B规模完全从零训练。对LLM研究者来说这是一个探索自回归以外技术路线的重要参考实现。