杭州城市大脑有限公司

简洁明了的政策摘要有助于社会各界更好地理解政策，便于新闻媒体进行报道，提高政策的社会知晓度，从而促进政策的广泛接受和执行。在后续政策检索中，政策摘要也可作为政策公文的重要组成部分，基于政策的摘要向量数据，可以实现政策的快速检索与归档，提高政策管理的效率。1.数据处理：对采集的政策文本数据进行数据清洗，仅保留可用的政策公文信息。剔除文本数据中可能存在的URL、IP地址、电子邮件、手机号码、电话号码、身份证号码信息；剔除无效的政策文本数据，判断标准为汉字数量是否少于10、符号比例是否低于50%、中英文字符和数字的占有比例是低于10%、中文字符比例是否低于10%。 2.政策摘要生成：对清洗后的文本数据进行摘要提取，基于注意力机制序列模型得到各政策原文对应的政策摘要文本。对于每一个政策数据文本，将Embedding后的数据按顺序输入到模型的编码器A中后得到每一个时间点的隐藏状态。之后计算注意力系数告诉编码器A在何处查找生成下一个词，以此得到编码器A隐藏状态的加权和。将源文件中读取固定大小内容与解码器A的隐藏状态连接，通过两个线性层进行馈送，最终得到待生成词汇的分布P，以P中概率最大的词作为当前时间点的输出词，最终得到各政策文本数据的摘要内容。 3.摘要数据向量化：使用bge-large-zh-v1.5嵌入模型对生成的政策摘要文本进行向量化处理，摘要文本与向量存入数据库，以供后续的业务使用。