金融机构选模“新烦恼”：如何实现效率与成本的最优解 幻觉问题与多模态应用挑战待解

随着大模型技术与金融场景的融合日益紧密，银行等金融机构正面临新的“烦恼”。

一位中小银行IT部门主管向记者透露，近期他们接触了多家厂商的金融大模型产品，一时间也不知道如何选择。

“目前，银行高层希望优先选择参数规模至少数百亿，最好逾千亿的金融大模型产品，因为他们希望这个大模型产品能迅速应用在更多业务场景，提升更多业务金融服务竞争力。”他告诉记者。但是，这意味着银行的金融大模型产品使用成本“居高不下”，甚至大幅超过内部预算。

除此之外，能否有效解决大模型“幻觉问题”、能否通过多模态大模型技术进一步提升众多业务场景业务操作效率、能否实现金融大模型产品的“小投入大产出”，都成为金融机构选择金融大模型产品的重要考量。

记者获悉，针对这种状况，众多互联网大厂都在持续推进大模型迭代升级，强化金融大模型的解决方案能力，构建更广泛的金融应用生态塑造更多成功应用案例与场景落地，力争赢得金融机构的青睐。

 金融大模型应追求效率与成本的最优解

腾讯云副总裁胡利明向记者透露，金融大模型要立足场景和高质量数据，追求效率和成本的最优解，未必是参数越大越好。

在他看来，目前有些金融场景未必需要参数规模巨大的大模型，比如大模型对金融客服数字人智能化能力的提升，未必需要参数动辄逾千亿的大模型；此外，成本对不少金融机构也是重要的考虑因素，有些业务场景若能通过百亿参数规模的小模型解决，将进一步促进银行降本增效。

胡利明透露，目前腾讯云行业大模型解决方案搭建了四层架构。在算力层，基于HCC高性能算力集群、云原生数据湖仓和向量数据库，提供高性能算力和数据接入能力；在平台层，腾讯云TI平台实现从数据预处理—模型训练—模型部署的一站式训练，配合训练加速套件，大幅提升模型训练的效率；在大模型层，通过模型商店MaaS，支持接入腾讯混元大模型、金融行业大模型及20多个主流开源模型，有助于金融机构可以根据不同细分场景业务需求，灵活选择各类大模型，进一步降低大模型使用成本。

在他看来，由于金融大模型的产品体系是“由下往上”的，不同类型金融企业可以根据业务场景具体需求，在不同架构层切入金融行业大模型，也可根据自身投入成本，以及场景复杂度进行布局。

“目前，在通用能力的基础上，腾讯云一方面通过预训练、金融领域垂类任务精调、强化学习的方式，持续积累与强化金融大模型的专业合规度；另一方面在通用能力的基础上，逐步让金融大模型具备金融领域知识推理、研报撰写、智能舆情等专业下游任务能力。”胡利明指出，目前，金融大模型已在多个场景得到广泛应用。

在智能客服场景，将金融大模型的对话问答能力和智能客服数字人结合，提供更智能精准的回复、真人体验与个性化金融服务；

在单据识别场景，通过零样本和小样本学习即可灵活适配各类识别场景，大幅降低运营成本；

在投顾辅助和舆情分析场景，支持众多金融机构通过自然语言获取目标资讯，高效自动提取要点，自动撰写内容；

在安全风控场景，用垂直场景的小量样本支撑定制化风控模型的快速构建；

在代码撰写场景，大幅减轻人工撰写代码的负荷，并提升代码质量，进一步强化敏捷开发的效率。

融360联合创始人、董事长兼CEO叶大清向记者透露，目前，大模型研发正进入新发展阶段，一方面大模型的发展呈指数性爆发，功能越来越强，成本越来越低；另一方面GPT已经开始拥有“意识”，如何解决安全、法律和伦理等方面问题，将是行业急需解决的新挑战。

“当前业界的一个普遍共识，是AI大模型需切实满足业务需求，而不是一味追求强大的AI能力。这需要大模型研发者通过产品、流程解决AI的安全、法律和道德等问题，以及人工智能伦理问题。他指出。

叶大清告诉记者，在AI大模型技术落地金融行业应用过程，已出现不少问题与冲突。一是当前金融机构对大模型技术的认知度很高，但应用率尚低，现有大模型技术应用场景的用户满意度也较低；二是让AI独立完成业务流程是很难实现、风险性较高的，金融机构仍需结合业务实际流程、有监督地让AI大模型在某些环节充当辅助工具，这也是当前大模型技术落地金融应用过程，比较容易实现和风险较低的选择。

他认为，未来金融大模型的底层技术问题将越来越完善，但它能否更好地应用在众多金融场景，关键在于能否回归客户需求，聚焦细分领域业务场景，进一步深挖客户需求。

幻觉问题与多模态应用两大挑战“待解”

记者多方了解到，在探索大模型在金融场景应用过程，能否有效解决“幻觉”问题（即大模型答非所问、胡说八道），也是众多金融机构选择金融大模型产品最关注的一大因素。

胡利明告诉记者，当前大模型技术应用最难解决的一大技术难点，就是“幻觉”问题，因为大模型是AI生成式内容，若大模型即使不知道用户所提出的问题答案，也不会直接告诉用户“它不知道”，而是使用海量数据生成一个可能性最高的“答案”。

“幻觉问题日益突出的另一个原因，是大模型在预训练环节，没有将用户提问里的核心需求放入其中进行训练，就容易出现正确的废话。”他指出，针对这个状况，腾讯混元大模型使用了“探真”技术，令解决幻觉方面提升了30%-50%。

多位业内人士指出，具体到智能客服等具体金融业务场景，金融机构对大模型的应用，应做好循序渐进的实施路径——先不要将大模型智能客服直接面向用户，而是用于提升人工客服的问题回复内容检索效率与回复精准度，等待大模型技术日益成熟，再在合规安全操作的前提下，向用户开放。

叶大清向记者指出，当前大模型很难做到不出错，若在接受‘出错’的前提下，通过合理的产品规划、标准的业务流程设计、完善的纠错机制建立，是可以让AI产品快速在众多业务场景落地。

记者注意到，随着大模型技术日益发展，越来越多金融机构对大模型技术的使用，不再满足“单模态”（比如文本），希望能实现多模态（比如文本、图表、视频、语音等）的综合应用。

在业内人士看来，大模型发展从单模态向多模态演变，也是大势所趋。但与此同时，如何确保大模型技术生成的图表、视频、语音等内容更加精准专业，仍是一大挑战。

胡利明向记者透露，多模态的确扩大了大模型在金融领域的应用范畴。腾讯云金融大模型一开始构建知识库时，只能支持文本知识库的构建，但加入多模态后，可以对复杂图文、手册、视频类内容进行知识库构建，最终在终端输出时，不仅能呈现文本方式回答，也可以以视频方式给予链接播放，甚至可以与金融机构数字人结合，用语音方式向用户回答疑问。

在他看来，要提升大模型技术在图表、视频、语音生成方面的准确性，仍需引入更多新技术。比如OCR已基本引入多模态,有助于简化传统OCR环节的检测、识别、结构化等多阶段处理流程，有效提升了大模型性能。在这个过程，多模态大模型通过新技术，将图像编码为视觉token，并利用语言模型从中提取关键信息，实现对识别、结构化等任务的全面理解与生成，令OCR识别率变得更高。

胡利明告诉记者，近期腾讯混元大模型进行重大升级，正式开放“文生图”能力，有助于金融机构在更多业务场景探索多模态大模型技术的应用。在这个过程，腾讯云基于自身数据隐私、内容安全解决方案，通过模型私有化部署、权限管控与数据加密等方式，确保金融机构在打造模型与使用模型过程的安全合规。

记者获悉，目前腾讯云与中国银联、保险公司、证券交易所等金融机构开展合作，加速大模型的MaaS（模型即服务）建设同时扩大场景应用范畴，进一步加快大模型在金融产业的生态共建步伐。

叶大清指出，融360携手腾讯云金融行业大模型解决方案，构建从基础层到应用层全覆盖，拥有架构灵活低耦合的金融服务体系，并通过合理产品规划、标准业务流程设计，完善纠错机制建立等举措，让AI产品快速落地，向银行、保险公司、财富管理公司、电信运营商、电商等机构提供基于AI大模型的多元化金融服务解决方案。

胡利明指出，未来多模态大模型在保险场景或迎来较大发展空间。在保险产品营销过程，不少用户未必能通过文本方式全面准确地了解复杂保险理赔条款与理赔金未来收益状况。通过多模态大模型所提供的图表、视频等内容，有助于保险代理人以更通俗易懂、图文并茂的方式向用户解答保险产品特点与条款，促进用户更好地了解保险产品。