GDMix 是什么？

考虑一个工作推荐任务，假设有两个 LinkedIn 成员 Alice 和 Annie，她们的信息非常相似。她们两个都有相同的用户特征，响应的是同一对公司。但她们的反应完全相反。如果我们使用这两个成员的数据来训练一个机器学习模型，那么模型将不会有效，因为训练样本相互矛盾。解决方案之一是根据成员的数据为每个成员训练一个单一的模型。这就是个性化的一个例子。

个性化的一种可能实现是将所有成员 ID 嵌入到一个模型中。这通常会导致一个非常大的模型，因为成员数量可能会达到数亿量级。GDMix（GeneralizedDeepMixed Model，通用深度混合模型）是 LinkedIn 为高效训练这类模型而创建的解决方案。它将一个大模型分解为全局模型（又称“固定效应模型”）和大量小模型（又称“随机效应模型”），然后分别求解。这种分而治之的方法，允许使用标准硬件对大型个性化模型进行有效的训练。GDMix 是其前身 Photon ML 的改进，它扩展并支持深度学习模型。要了解更多背景信息，请查看我们的工程博客。

支持的模型

当前版本的 GDMix 支持固定效应的逻辑回归模型和 DeText 模型，然后是随机效应的逻辑回归模型。在未来，如果增加的复杂性可以通过改进行度量来证明的话，我们可能会支持随机效应的深度模型。

逻辑回归模型

作为一种基本的分类模型，逻辑回归模型因其模型简单和训练效率高，在搜索和推荐系统中得到了广泛的应用。我们的实现使用 TensorFlow 进行数据读取和梯度计算，并使用 SciPy 的 L-BFGS 求解器。这种组合利用了 TensorFlow 的多功能性和 L-BFGS 的快速收敛性。这种模式在功能上等效于 Photon-ML，但效率有所提高。我们的内部测试表明，在各种数据集上，训练速度提高到了 10%~40% 不等。