对语言模型进行训练以获得预测模型的方法和装置与流程

本公开涉及人工智能领域，特别是涉及一种对语言模型进行训练以获得预测模型的方法、对语言模型进行训练以获得预测模型的装置、计算机设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、房产买卖是一个重要的经济活动，在众多的经济活动中，房产买卖的交易额相对巨大，对于每个家庭具有重要的意义。无论是个人买卖自住房产，还是投资房地产市场，都需要进行谨慎的决策。在房产买卖过程中，买家和卖家都面临着一系列的决策，例如确定适合的买入或卖出时机、确定合理的价格、评估房屋的潜在价值和风险等。这些决策往往需要综合考虑众多因素，如房地产市场行情、房屋的地理位置、房屋的状况、买家或卖家的财务状况等。

2、在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

1、提供一种缓解、减轻或甚至消除上述问题中的一个或多个的机制将是有利的。

2、根据本公开的一方面，提供了一种对语言模型进行训练以获得预测模型的方法，包括：获取多条文本化业务数据作为第一数据集，多条文本化业务数据描述业务相关情况；针对第一数据集执行无监督聚类操作以得到第二数据集，第二数据集包括k个第一子集，第一数据集中的每条数据属于k个第一子集中的相应一个第一子集并且具有相应一个第一子集的唯一标签，其中，k表示对第一数据集进行无监督聚类操作后得到的集群数，并且k为大于等于2的整数；针对语言模型执行以下训练任务：在第一训练任务中，基于第一数据集对语言模型进行预训练，得到经预训练语言模型；在第二训练任务中，基于第一数据集和第二数据集对经预训练语言模型进行半监督训练，得到经训练语言模型；在第三训练任务中，基于第二数据集对经训练语言模型进行调优训练，得到经调优语言模型；以及根据经调优语言模型得到预测模型。

3、根据本公开的一方面，提供了一种对语言模型进行训练以获得预测模型的装置，包括：第一模块，用于获取多条文本化业务数据作为第一数据集，多条文本化业务数据描述业务相关情况；第二模块，用于针对第一数据集执行无监督聚类操作以得到第二数据集，第二数据集包括k个第一子集，第一数据集中的每条数据属于k个第一子集中的相应一个第一子集并且具有相应一个第一子集的唯一标签，其中，k表示对第一数据集进行无监督聚类操作后得到的集群数，并且k为大于等于2的整数；第三模块，用于针对语言模型执行以下训练任务：在第一训练任务中，基于第一数据集对语言模型进行预训练，得到经预训练语言模型；在第二训练任务中，基于第一数据集和第二数据集对经预训练语言模型进行半监督训练，得到经训练语言模型；在第三训练任务中，基于第二数据集对经训练语言模型进行调优训练，得到经调优语言模型；以及第四模块，用于根据经调优语言模型得到预测模型。

4、根据本公开的一方面，提供了一种计算机设备，包括：至少一个处理器；以及至少一个存储器，其上存储有计算机程序，其中，计算机程序在被至少一个处理器执行时，使至少一个处理器执行上述任一种方法。

5、根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，使处理器执行上述任一种方法。

6、根据本公开的一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，使处理器执行上述任一种方法。

7、根据本公开的实施例，基于无监督预训练和训练以及少量基于提示学习和人工标注的有监督训练样本来降低预测模型的训练代价；利用无监督聚类将训练数据进行聚类，将聚类结果作为模型训练和调优的标注参考，从而避免人工数据标注的冗余成本且降低人工分析的复杂度。

8、根据在下文中所描述的实施例，本公开的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明。

技术特征：

1.一种对语言模型进行训练以获得预测模型的方法，所述方法包括：

2.根据权利要求1所述的方法，其中，针对所述第一数据集执行无监督聚类操作以得到第二数据集包括以下项中的一者：

3.根据权利要求1或2所述的方法，其中，在第一训练任务中，基于所述第一数据集对所述语言模型进行预训练，得到经预训练语言模型包括以下项中的一者：

4.根据权利要求1或2所述的方法，其中，在第二训练任务中，基于所述第一数据集和所述第二数据集对所述经预训练语言模型进行半监督训练，得到经训练语言模型包括：

5.根据权利要求1或2所述的方法，其中，在第三训练任务中，基于所述第二数据集对所述经训练语言模型进行调优训练，得到经调优语言模型包括：

6.根据权利要求5所述的方法，其中，所述根据所述经调优语言模型得到所述预测模型包括：

7.根据权利要求1或2所述的方法，其中，所述根据所述经调优语言模型得到所述预测模型包括：

8.根据权利要求1或2所述的方法，其中，所述多条文本化业务数据包括业务标的数据、业务参与者数据以及业务参与者之间的沟通记录数据。

9.根据权利要求1或2所述的方法，其中，所述语言模型包括生成式预训练变换器gpt模型。

10.一种对语言模型进行训练以获得预测模型的装置，所述装置包括：

技术总结
提供了一种对语言模型进行训练以获得预测模型的方法和装置、计算机设备、存储介质和计算机程序产品。该方法包括：获取多条文本化业务数据作为第一数据集；针对第一数据集执行无监督聚类操作得到第二数据集，第二数据集包括K个第一子集，第一数据集中的每条数据属于K个第一子集中的相应一个第一子集并且具有相应一个第一子集的唯一标签；针对语言模型执行以下训练任务：在第一任务中，基于第一数据集对语言模型进行预训练，得到经预训练模型；在第二任务中，基于第一和第二数据集对经预训练模型进行半监督训练，得到经训练模型；在第三任务中，基于第二数据集对经训练模型进行调优训练，得到经调优模型；以及根据经调优模型得到预测模型。

技术研发人员：孙建伟,邹伟,陈开江
受保护的技术使用者：贝壳技术有限公司
技术研发日：
技术公布日：2024/1/16