聚焦客户运营AI助手的方案研究与实践
陈礼帆
中国联通广州软件研究院 广东广州 510670
摘要:随着人工智能技术的迅猛发展,大语言模型在自然语言处理领域展现出强大的能力。本文聚焦客户运营AI助手的方案研究与实践,详细阐述了当前中国联通客户运营传统模式的业务痛点、客户运营AI助手的整体方案以及中国联通客户运营大模型的核心能力。
通过引入大语言模型,客户经理能够更精准地理解客户需求,实现个性化的客户服务、智能营销推荐的深度挖掘,有效提升客户运营效率和客户满意度,为中国联通在激烈的市场竞争中提供有力支持。
关键词:客户运营;大语言模型;自然语言处理;指令微调
1 引言
1.1背景与意义
随着“携号转网”政策的全面放开,运营商的存量之争愈发激烈,客户感知愈发重要。[1]而随着人工智能技术的兴起壮大,社会各行业和友商都在逐步加强在客户运营方面的AI布局。其中,中国移动建设了营销服务大模型,在营销指引、生产管理、智能调度、服务检测等场景,实现对话式指标问答,精准洞察客户需求,识别商机,生成专家级营销策略,提供个性化话术指引;在面向一线营销人员培训方面,打造了智能教练能力,提升营销人员的营销能力。
反观中国联通客户运营的传统模式,存在着运营流程长、操作复杂,一线客户经理整体的营销服务仍存在客户洞察不精细、策略推荐不精准、人员话术评价不统一的问题,影响实际营销转化效果,需引入智能化解决方案,构建客户运营AI助手。
2 传统客户运营流程
传统客户运营流程需要运营人员,针对不同的运营目标进行场景分析,总结目标客群特征并通过客户标签进行客群圈选,选定产商品、营销话术及投放触点后,进行策略配置与下发调度。策略配置流程长且操作复杂,对运营策划人员专业性要求高。并且一线客户经理在面对客户主动联系时,无从获取推荐策略,仅能根据自身营销经验为客户进行推荐。
2.1 客户意图洞察不精细
全国VIP客户经理作为对接VIP客户的核心人群,人均包保VIP客户数万人。客户来话、客户留言等场景较为复杂,考验一线人员个人营销经验,识别用户真实意图较为困难。
2.2 策略推荐效率低
运营人员在进行策略配置时,选择推荐产商品多凭业务经验,较少且较难有客观数据作参考,存在推荐的产商品策略难以转化等情况。传统的客户运营策略策划模式未覆盖客户主动联系场景,一线客户经理在面对客户主动来话或留言时,无法基于客户实时意图进行精准实时推荐。
2.3 一线营销话术不精准
提供更亲和贴心的服务是客户经理面临的一个关键挑战。当前,客户经理需要处理大量的服务请求,同时联通的产品种类繁多且更新迭代迅速,这使得一线客户经理的能力差异更加明显。在这种情况下,部分客户经理难以根据客户的实时意图进行精准的营销话术推荐。
3 基于大语言模型的客户运营方案研究
通过大语言模型技术,为中国联通搭建全新智能客户运营运营体系,承载从客户意图识别、产品策略推荐到营销话术推荐全流程赋能,提升运营效率和客户体验。
3.1 客户运营AI助手建设方案概述
为完成客户运营AI助手能力建设,实现对一线客户经理的AI赋能。以客户经理集约工作台为触点,以全客平台策略树的八大业务场景为牵引,通过对客户经理在工作台与客户的留言或对话内容进行自然语言处理分析及客户意图识别[2],结合全客平台对当前客户进行策略树策略推荐,结合算法模型平台对当前客户进行智能策略推荐。结合多轮对话内容、推荐策略及客户画像生成相应的推荐话术,助力客户经理精准营销。
3.2 客户运营大模型搭建流程
我们建立了一套从语料收集、预训练与指令微调到人工测试的工作流程。与试点省分紧密合作,建立了数据集生产流水线以及人工测试流程;使用LoRa[3]技术进行指令微调,实现对模型持续调优。
3.2.1 语料收集
建立持续采集、持续标注、持续审核、持续优化的大模型数据集生产流水线,通过建立质量审核机制、数据回流机制和标注人员效能评价,保障数据集质量,为大模型训练打好基石。
1、数据集收集:从新客服获取用户和客户经理真实对话9亿+数据;
2、数据集预处理:对原始数据集数据进行筛选和清洗,对场景意图进行样本均衡处理;
3、制定标注规则:
(1)由湖北省分、湖南省分等8个单位分成4组一起数据集准备;
(2)打标形式采取组内背对背打标和裁判组二次打标;
(3)以周为周期进行滚动,每周预计产出1万多条数据集。
4、数据集标注:
(1)采用半自动标注,大模型和人工协同标注和筛选数据集;
(2)使用self-instruct、大模型生成等技术进行语料数据扩充,丰富自然数据集较少的意图。
5、质量审核:
(1)省间背对背标注:每两个省为一组,针对同条数据集,组内打标一致,则认为合格数据集;
(2)裁判组二次打标:针对打标不一致数据集,引入裁判组二次投票;
(3)采纳率:采纳数据集条数/总数据集条数*100%。
6、数据集回流与迭代:合格数据集整合,不合格数据集请裁判组重新标注,每期数据集整理归档;大模型上线后进行生产环境的数据集回流迭代优化模型;
7、输出标注数据集:输出大规模、高质量、多样性的数据集进行沉淀。
3.2.2 预训练及指令微调
随着我们对较大的模型进行预训练,重新训练所有模型参数的完全微调变得不太可行。Edward Hu等人提出了LoRA,它冻结了预训练的模型权重,并将可训练的秩分解矩阵注入到Transformer架构的每一层中,大大减少了下游任务的可训练参数的数量。[3]
1、低秩分解:
(1)对于预训练模型中的某一权重矩阵,LoRa将其更新权重分解为两个低秩矩阵和,其中。
(2)更新后的权重矩阵为:
(3)在训练过程中,只更新低秩矩阵和,冻结预训练模型的原始权重。
2、低秩维度:
(1)低秩维度是一个超参数,通常远小于原始权重矩阵的维度,例如或。
(2)较小的可以显著减少参数量,但可能会影响模型性能;较大的可以提高性能,但会增加计算成本。
(3)只训练低秩矩阵和,并且冻结预训练模型的原始权重。
(4)更新后的权重为。
3、初始化:
(1)矩阵通常使用随机高斯分布初始化。
(2)矩阵初始化为零矩阵,以确保训练开始时,即模型初始状态与预训练模型一致。
4、实现细节:
(1)通过低秩分解来近似权重矩阵的更新。
(2)在TransFormer的自主一机制中应用LoRa,主要修改查询和值矩阵。
(3)训练时只更新低秩矩阵,预训练模型的原始权重被冻结,不参与梯度更新。
(4)推理时,将低秩矩阵更新合并到原始权重中,不引入额外计算开销。
3.2.3 大模型人工测试
研发团队与省分团队紧密合作,组织多次人工测试。通过识别错误用例进行badcase分析,存在数据集因打标人员业务理解有歧义导致意图打标不对、模型识别幻觉等问题。基于分析,联合省分和业务方制定解决方案和优化计划,将模型识别准确率由77.55%提升至92.19%,提高大模型的准确性和可靠性。
3.3 客户运营AI助手核心能力概述
基于大模型语义理解、文本生成等能力,通过构建高质量数据集对大模型进行预训练和指令微调,形成客户运营AI助手,建设客户需求实时洞察、动态场景智能策略推荐、智能话术生成等核心能力。覆盖客户主动来话、客户主动留言、客户经理外呼等多种运营场景,提升运营效率和客户体验。
3.3.1 客户需求实时智能洞察
基于全客平台策略树的八大业务场景分类,全面覆盖融合、提质等100 余种业务细分场景,以一线人员同客户之间的留言信息、语音转译文本为核心依据,针对客户与客户经理之间的多轮对话展开深度剖析,精准识别客户的实时意图,为后续精准营销与服务提供有力支撑。
3.3.2 营销话术秒级智能生成
基于客户实时需求、紧密结合客户基础信息及使用偏好画像,智能化生成营销话术,助力客户经理灵活应对客户的各类诉求及问题。并优化繁琐的人工话术配置工作,话术生成耗时从1天提升至10秒以内自动生成,大幅提升工作效率与营销响应速度。
3.3.3 精准营销策略实时推荐
聚焦升级套餐、升级宽带等重点融合场景,基于全客策略树和客户画像,结合客户实时意图,建设策略智能推荐能力,覆盖全国移网、宽带用户。实现多营销产品/策略的最优匹配,为客户经理提供推荐策略与当前客户消费情况的一键比价,助力其精准化营销。以智能科技驱动营销精准化,激发业务增长新活力。
4 总结与展望
本文详细阐述了基于大语言模型的智能客户运营系统的设计与实现,通过引入大语言模型,实现了客户服务的智能化、营销的精准化以及客户关系的精细化管理,有效提升了客户运营效率和客户满意度。然而,在系统应用过程中,仍然面临着数据隐私与安全、模型可解释性和成本等挑战。未来,随着人工智能技术的不断发展和创新,相信这些问题将逐步得到解决。同时,基于大语言模型的智能客户运营系统也将不断完善和优化,为企业的客户运营提供更加智能化、个性化的解决方案,助力企业在激烈的市场竞争中取得更大的成功。
参考文献
[1]许乃利.存量客户一体化运营管理体系探索及思考[J].信息通信技术, 2020, 14(4):6.
[2]杜望祥. 基于意图识别与槽填充联合模型的智能语言对话系统研究[J]. 自动化与仪器仪表, 2024, (10): 263-267.
[3]E. J. Hu et al., "LoRA: Low-Rank Adaptation of Large Language Models," arXiv preprint arXiv:2106.09685, 2021.
作者简介:陈礼帆(1996.04.20—),性别:女,民族:汉族,籍贯:湖南长沙,职务/职称:中级职称,学历:硕士研究生,单位:中国联通广州软件研究院,研究方向:IT支撑。