¹天津商业大学理学院，天津

²天津众联智能科技有限责任公司，天津

收稿日期：2022年9月14日；录用日期：2022年10月14日；发布日期：2022年10月24日

摘要

报告是企业日常运营中具有重复性与复杂性的一项工作，本文系统梳理了报告自动生成的实现方法、研究重点与发展方向。在总结基于数据合并、模板等基本报告生成方法的基础上，首先介绍了序列生成、知识指导等智能化报告生成的改进模型；然后进一步分析了基于模板与智能化的混合模型报告生成方法；最后对报告生成的评价标准进行了对比。研究表明：基于模板与智能化的报告生成方法具有程式化、精度高、适应性强等特点，是今后研究的主流方向。

关键词

深度学习，知识图谱，自然语言处理，报告生成

Review on Automated Report Generation Methods for Enterprises

Canrui Feng¹, Jianye An^1*, Zhiyong Liu²

¹Faculty of Science, Tianjin University of Commerce, Tianjin

²Tianjin Zhonglian Intelligent Technology Co., Ltd., Tianjin

Received: Sep. 14^th, 2022; accepted: Oct. 14^th, 2022; published: Oct. 24^th, 2022

ABSTRACT

Reporting is a repetitive and complex task in the daily operation of enterprises. In this paper, we systematically sort out the implementation methods, research priorities and development directions of automatic report generation. This paper summarizes the basic report generation methods based on data merging and templates and introduces the improved models of intelligent report generation such as sequence generation and knowledge guidance, then further analyzes the mixed model report generation methods based on templates and intelligence; finally, the evaluation criteria of report generation are compared. We come to the conclusion that report generation methods based on templates and intelligence has the characteristics of programmatic, high accuracy, and adaptability. It will be the mainstream direction of future research.

Keywords:Deep Learning, Knowledge Graph, Natural Language Processing, Report Generation

Copyright © 2022 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

自然语言生成(NLG)作为自然语言处理(NLP)的一个重要分支，被广泛应用于智能写作、人机对话等领域，是人工智能走向成熟的标志之一 [1]。它要求机器理清输入句的内涵，并使用准确的语言模型或统计模型自动生成可理解的自然语言。NLG技术具有巨大的研究价值，被广泛应用。1994年Goldberg [2] 等开发出FoG系统，将气象概念自动转换为气象文本；2011年起StatSheet公司开发出软件，替代编辑实现新闻的自动撰写 [3]；2018年Jing [4] 等引入深度学习方法助力医学诊断报告生成，减轻医学专业人员的工作。在人机对话领域，最早有经典的聊天机器人ELIZ [5] (1966)与PARRY (1972) [6]，近年来为了实现更为智能便捷的人机交互，微信、客服等即时通讯平台逐渐兴起。

随着我国信息化建设不断推进，企业数据量呈现出爆炸式增长的趋势。企业管理人员需要根据数据背后所反映出来的现象或趋势，将其转化成企业管理的有效资源，以制定更准确的决策。在这个过程中，一份好的报告可辅助决策者精准决策，提高工作效率。

2. 报告类型

报告一般用于下级向上级汇报工作、反映情况及提出建议。常见报告类型有企业发展报告(日报、周报、月报、季报、年报等)、政府发展报告、行业发展报告和工作总结报告等。

目前大部分报告由人工编写，需要大量的重复劳动，且报告的质量依赖于撰写者的写作水平和个人经验。人工撰写报告耗时耗力，完成一份短篇报告通常需要一天到两天，而这些工作实际上可以实现自动化，所以自动化生成报告在人工智能技术飞速发展的时代，显得尤为重要。NLG技术可以解读数据，根据数据呈现出的规律，自动的输出一份全面、有针对性的深度分析报告，满足企业日益精细化的管理需要。

根据数据源类型的不同，报告生成可以分为数据到报告的生成、文本到报告的生成、图像到报告的生成。

其中数据到报告的生成在人们的生活中有广阔的应用场景，如BI (Business Intelligence)报告、体育比赛报告和天气预报等；文本到报告的生成在业界也有诱人的商业价值，比如关键字新闻写作、话题作文、邮件生成等 [7]；图像到报告的生成常用领域有病理报告生成 [8]、儿童教育看图讲故事等。本文聚焦于由企业工作过程中产生的数据(数值型及文本型)生成中文报告的方法整理与进展研究。

3. 报告生成常用方法

基于数据合并的报告生成方法类似于数据填空，是最简单的报告生成方式，这种方法常用于固定格式的情形，如批量制作名片、成绩单、信件封面、通知单等。基于模板的报告生成方法是人们最早采用的一种报告生成技术，应用场景广泛，但这种基于字符串的操作适用范围局限，可推广性差。智能化报告自动生成方法则更加灵活多变，在理解文本并考虑上下文联系的同时，运用可以被理解的语言呈现出最终结果。以下基于数据合并、模板、智能化，以及模板与智能化混合的报告生成方法展开介绍。

3.1. 基于数据合并的报告生成方法

自然语言生成技术并不是计算机生成文本的唯一方法，Microsoft Word中的邮件合并技术也可以实现简单的报告生成功能。邮件合并是Office的重要功能，既可以生成word格式的文档，也可用于pdf格式文档生成和定向邮件。最简单的邮件合并系统只是将输入数据插入模板文档中预定义的插槽中 [9]，在需要位置插入数据批量生成报告。

邮件合并技术可以轻松制作大量内容基本相同的文件，提高办公效率。但在输出文本变化较大的应用中，邮件合并技术并不适用。

3.2. 基于模板的报告生成方法

基于模板的报告生成方法主要是从以往问题中构造出模板，然后把模板库中的模板与真实整理好的数据进行匹配，若匹配成功则将相应内容填写在模板相应位置 [10]。这种方法是通过操纵字符串来完成的，举例来说，用户编写一个程序，其中包含“如果条件A为真，则包含B语句 [11] ”。2017年Gong [12] 等在模板生成系统基础上，定义专业术语和特定条件生成规则，并使用这些规则选择正确有效的模板，最终实现快速生成海量体育新闻；2020年姚颖 [13] 等编码实现了一个大数据报告系统，由用户个性化设计模板，并生成完整统计分析报告。工业界也有单位研发了基于模板的报告生成系统，如新华社开发了自动生成企业财报的系统 [14]，但采用的模板相对来说固定，生成的年度财务报告都比较类似，不够生动。

基于模板的报告生成方法在结构化知识获取时具有规范化、流程化优势，但在复杂的研究问题中灵活性差，且模板大多是粗粒度的。在具体领域中，为了保证模板能全面覆盖所涉及的内容，使用者所需填写的内容过多，使用体验差。

3.3. 智能化报告自动生成方法

随着计算机硬件处理能力的提升，报告生成从最初基于模板生成发展的更加智能化。智能化报告自动生成方法基于NLG技术，试图在理解文本的基础上生成文本。基于深度学习的报告自动生成方法已成为研究热点 [15]，其中最经典的为序列生成模型，后逐步有学者引入外部知识指导报告生成。以下主要基于序列生成模型与知识图谱介绍智能化报告自动生成方法。

3.3.1. 基于序列生成模型的报告自动生成方法

序列到序列(sequence to sequence, seq2seq)模型是目前主流的编码器–解码器(encoder-decoder)文本生成模型 [16]。简单来说，即输入一个序列，生成另一个序列 [17]。该模型由Cho [18] 和Sutskever [19] 提出，主要思想是：利用输入序列的全局信息推断出与之对应的输出序列 [20]。编码器和解码器通常可以根据实际问题自由组合，可以编码使用BRNN，解码使用LSTM；或者编码使用LSTM，解码使用RNN等。seq2seq模型不仅可以用于报告生成，还可用于机器翻译、情感分析、对话系统等领域 [21]，seq2seq模型工作流程如图1所示。

实现seq2seq最直接方法是使用两个循环神经网络分别进行编码和解码。随着注意机制引入，基于预训练模型的文本生成方法被越来越多应用 [22]。以下简单介绍基于序列生成模型的报告自动生成方法。

图1. Seq2seq模型工作基本流程

1) 基于循环神经网络的序列生成模型

循环神经网络(Recurrent Neural Network, RNN)通过内部的循环隐变量学习输入序列的隐表示，将当前时刻模型的输出作为序列中下一时刻模型的输入 [23]。给定一个输入序列 $X=\left(x_1,x_2,\cdots ,x_T\right)$，则RNN隐变量的循环更新过程如下：

$h_t=g\left(W{x}_t+U{h}_{t-1}\right)$ (1)

g是一个激活函数，W是当前时刻隐变量的权重矩阵，U是上一个时刻隐变量的权重矩阵 [24]。RNN可以用来处理时序序列，但权重矩阵主要依靠当前时刻的几个相邻状态 $h_t$ 更新，实际上只能学习到短期的依赖关系，无法生成连贯的长句子。随着文本长度的增加信息不断流失，模型的效果快速下降 [25]。

长短期记忆(Long Short-Term Memory, LSTM)网络是RNN的一个变体，加入门控机制，解决梯度消失问题 [26]。假设LSTM第j-th单元在时刻t的记忆单元为 $c_t^j$，则LSTM单元的隐状态 $h_t^j$ 为：

$h_t^j=o_t^j\tan \left(c_t^j\right)$ (2)

$o_t^j$ 表示输出门，用于调节记忆单元输出内容的数量。 $c_t^j$ 表示记忆单元，在生成隐状态的同时，需要通过部分遗忘现存的记忆，增加一个新的中间记忆单元的方式进行循环更新。与传统RNN模型不同，LSTM单元通过引入门决定是否保持现存记忆。

传统的循环神经网络方法仅使用序列之前的输入信息对某一时刻进行预测，并未考虑序列中后部分的信息。但是实际应用场景中，当前时刻的输出可能由后面时刻决定，即上下文信息可能会影响到最后的输出，所以又引入了双向循环神经网络(Bidirectional RNN, BRNN)与双向长短期记忆网络(Bi-LSTM)。添加了反向传递信息的隐藏层，以便更灵活地处理此类信息 [27]。模型结构如图2所示：

图2. 双向循环神经网络模型工作流程

seq2seq模型在端到端的学习方式基础上，加之循环神经网络优秀的特征提取能力，在生成文本中常有较好的效果。但同样有其局限性：当输入序列非常长时，模型很难学到合理的向量表示，整个模型的能力会受到限制。

2) 基于注意力机制的序列生成模型

Bahdanau [28] 等与Luong [29] 等在seq2seq模型中引入了注意力(Attention)机制，使解码器在解码过程中重点关注源文本中的特定部分，给越接近目标状态的输入赋以越大的权重 [30]，有效缓解循环神经网络中的长距离“记忆”难题。自Attention机制提出后，多个任务的效果都有所提升。现在提到的seq2seq模型，指的都是结合RNN和Attention的seq2seq模型 [31]。其结构如图3所示。

图3. 结合RNN和Attention的seq2seq模型

注意力机制作为编码器与解码器的中间环节。首先为不同时刻的输入分配不同的注意力权重，然后对隐藏状态 $h_i$ 加权求和，得到上下文向量。上下文向量包含编码器获得的所有信息，计算公式如下：

$c_j={\displaystyle \underset{i=1}{\overset{N}{\sum }}{a}_j\left(t\right)h_i}$ (3)

$a_j\left(t\right)$ 表示第i个时刻的注意力权重， $h_i$ 表示第i个时刻编码器隐藏状态。

加入Attention的seq2seq模型可应用于文本生成，如冯骁骋 [32] 等提出MTA-LSTM方法，实现主题文本的生成；Liu [33] 等在表格到文本的生成中加入Attention，并在Wikipedia数据集上得到了不错的效果；孟志刚 [34] 等用LSTM和GRU正反序列两种算法实现财务机器人自动撰文等。由于传统的Encoder-Decoder架构在建模过程中，下一个时刻的计算过程会依赖于上一个时刻的输出，而这种固有的属性就使得传统的Encoder-Decoder模型不能进行并行计算 [35]。在有限的计算资源下，如何解决信息过载问题，提高模型的效果，仍是需要解决的问题。

3) 基于自注意力机制的序列生成模型

在seq2seq模型之后，google提出了Transformer模型，用全注意力机制的结构代替了LSTM，并在多项任务中取得了更好的成绩。Transformer也是由编码器和解码器组成。与其他网络类型相比，基于Transformer的模型表现出了更好的性能，计算速度快且效果更好 [36]。

在Transformer模型中，引入Positional Embedding弥补自注意力机制不能捕捉序列时序信息的缺陷。编码部分由多头注意力机制和两层前馈神经网络构成。解码部分整体与编码类似，多了一个多头注意力机制 [37]，用于与编码器进行交互。许晓泓 [38] 等将Transformer模型用于数据到文本生成中，并在Rotowire数据集上展开了方法的验证。徐泽 [39] 等用Transformer替换循环神经网络，提升了自动生成的金融报告质量。

现有预训练模型使用从左到右的网络架构，编码过程中只能够看到当前时刻之前的信息，限制了模型本身的表达能力。BERT采用双向编码的方法对输入进行编码 [40]，同时搜集当前时刻之后的信息，在多项任务中达到了很好的效果 [41]。由于其出色的算力以及准确性，BERT在文本生成任务中应用越来越广泛。胡智喻 [42] 等结合BERT与注意力机制进行诗歌自动生成，结果显示RLEU结果提高了9%。劳南新 [43] 等采用BERT_wwm与Transformer分别作为编码器与解码器，进行自动摘要生成研究，结果显示生成摘要的效果接近人工摘要的水平。

上述报告生成方法常用模型总结如表1所示。

表1. 模型总结

得益于大规模标注数据，深度学习算法能够学习到足够的层次化特征表示，从而取得较好的效果。深度学习的其局限性在于其依赖大规模标注数据，难以有效利用先验知识保证结果的正确性 [44]。另外，深度学习方法生成的文本通常以短文本为主，较难生成有逻辑且通顺的长篇文本，在实际应用中应用场景受限。

3.3.2. 基于知识图谱的报告自动生成方法

近年来有学者逐步引入知识图谱指导深度学习生成文本。知识图谱(Knowledge Graph)由“实体–关系–实体”三元组组成，实体间通过关系相互联结 [45]。知识图谱用节点和边表示知识(SOWA, 1991)，并将结果以图的方式呈现在用户面前 [46]。现阶段将知识图谱技术与深度学习相结合的方法较为常见 [47]，流程如图4所示。

图4. 基于知识图谱的报告自动生成方法

将知识图谱中的语义信息(先验知识)作为深度学习模型的输入 [48]，该工作已成为当前研究热点。Li [49] 等提出了一种新的知识驱动的编码、检索、释义(KERP)方法，以实现准确、稳健的报告生成。李娇 [50] 等不同于传统研究方法，直接面向科技文献资源和专题知识，构建了基于知识图谱的科研综述生成系统，自动生成科研综述文档。

3.4. 基于模板与智能化的报告自动生成方法

基于模板的报告自动生成方法与智能化报告自动生成方法结合起来，也达到了比较好的效果。迄今为止，这方面的两种变体尤其常见：

将NLG生成的片段嵌入模板中，或将固定短语插入NLG生成的语句中。IDAS系统 [51] 可以将生成的表达式插入模板中，也可以将修饰语插入其他生成的句子中。另外，柏欣雨 [52] 等研究了一种基于识图谱的智能模板构建方法，自动生成消化内镜报告。

NLG系统真正的价值在智能化处理中，而不是在确保正确的语法中。大多数混合模型在内容确定和句子规划中使用NLG，在语法实现中使用模板技术。在实际应用中，我们需要考虑将NLG技术用在真正需要的地方，在不需要的地方使用更简单的方法。例如，如果输出文本的某一部分从未发生变化，那么使用NLG生成将是无意义的。只有当NLG可以明显提高了系统的效果时，才应该被使用 [53]。

4. 报告生成评价标准

由于文本天生的复杂性与各行各业工作报告的特殊性，客观、准确的评价机器生成报告的质量，仍然是学术界的难题 [54]，报告生成的评价标准有主观评价法与客观评价法两种。

主观评价法通过专家评价系统输出，标准通常为流畅性或可读性，即语言质量，还有准确性、充分性、相关性或正确性 [55] 等指标。主观评价法优势在于成本低、时间短、效率高，劣势在于评价结果可能会受到评价者主观意愿影响，造成结果偏差。客观评价法通常使用BLEU与ROUGE指标。ROUGE与BLEU指标非常类似，都可用来衡量生成文本和目标文本的相似程度。以下从BLEU与ROUGE的具体计算方法与优缺点展开介绍。

4.1. BLEU评价标准

BLEU得分是常用的评价指标，最早由Papineni [56] 等提出，核心思想是比较生成文本与目标文本的N-gram的重合程度，重合程度越高则生成文本质量越高。通常取n = 1~4，并对进行加权平均 [57]。

$p_n=\frac{{\displaystyle {\sum }_{c\in \left(candi\right)}{\displaystyle {\sum }_{n-gram\in c}count}}\left(n-gram\right)}{{\displaystyle {\sum }_{c^{\prime }\in \left(candi\right)}{\displaystyle {\sum }_{n-gram\in c^{\prime }}count}}\left(n-gram\right)}$ (4)

$BP=\{\begin{array}{ll}1\hfill & \text{if}c\le r\hfill \\ {\text{e}}^{\left(1-\frac{r}{c}\right)}\hfill & \text{if}c>r\hfill \end{array}$ (5)

c指生成文本长度；r指目标文本中，与生成文本最接近的长度。惩罚因子用于惩罚生成文本与目标文本长度差距过大的情况。

$\text{BLEU}=BP\times \text{exp}\left({\displaystyle \underset{n=1}{\overset{N}{\sum }}{w}_n\ln p_n}\right)$ (6)

其中BP为惩罚因子， $p_n$ 为多元精度， $w_n$ 为多元精度对应的权重。

BLEU有便捷、快速等优点，是一种可以在模型训练中快速、准确给出评价结果的评价指标。但是，BLEU的评价结果会受常用词干扰，生成短句的得分往往比长句高 [58]，影响评价结果的准确度。

4.2. ROUGE评价标准

ROUGE指标由Lin等提出，专注于召回率而非精度 [59]，它会查看有多少目标文本中的n元词组出现在输出中 [60]。这样就能知道模型生成的文本有多少出现在目标文本中，有没有缺失信息。ROUGE分为ROUGE-N、ROUGE-L、ROUGE-W、ROUGE-S 4种 [61]，最常用的是前两种。ROUGE-N中的“N”指N-gram，计算公式如下：

$Rouge-N=\frac{{\displaystyle {\sum }_{S\in \{RS\}}{\displaystyle {\sum }_{gra{m}_n\in S}coun{t}_{match}\left(gra{m}_n\right)}}}{{\displaystyle {\sum }_{S\in \{RS\}}{\displaystyle {\sum }_{gra{m}_n\in S}count\left(gra{m}_n\right)}}}$ (7)

分子表示所有样本的目标文本按N-gram拆分后与生成文本按N-gram拆分后匹配上个数之和；分母表示所有样本的目标文本，按N-gram拆分后之和。一般来说N越大，分值容易越小。

$R_{lcs}=\frac{LCS\left(X,Y\right)}{m}$ (8)

$P_{lcs}=\frac{LCS\left(X,Y\right)}{n}$ (9)

$Rouge-L=F_{lcs}=\frac{\left(1+{\beta }^2\right)R_{lcs}{P}_{lcs}}{R_{lcs}+{\beta }^2{P}_{lcs}}$ (10)

UGE-L中的“L”即 $LCS\left(X,Y\right)$ 长度，长度越长得分越高 [62]。值得注意的是，ROUGE指标虽然提升了评价的准确性，但无法评价模型生成文本的流畅性 [63]。

5. 结论与展望

对于报告自动生成方法的研究，从研究方法看，多数学者对于报告的研究还主要是基于模板与基于深度学习模型。在现实生活中，面对复杂多样的实际问题，单纯基于模板或基于深度学习方法，生成的报告结构固化、应用价值不大，往往需要在考虑规范性与正确性的同时，进一步深入理解文本，在报告中加入更加丰富的文本元素。为了弥补这种不足，基于模板与智能化的报告自动生成方法成为大家关注热点，其研究成果已在医疗领域得到一定程度的应用。例如，在病理报告生成技术中通过引入知识图谱、加入先验知识来提高报告准确率。虽然NLG技术已成功用于机器翻译、人机对话、智能写作等行业领域，但是商业NLG技术直到最近才变得普及 [64]。

在当今大数据时代，企业拥有大量信息，但仍旧使用原始报告撰写方式，极为费时费力，针对企业工作报告自动生成方法的研究较少，报告生成技术的落地应用具有巨大的市场需求。基于此，企业自动生成报告方法研究与应用中仍然面临一些具体问题：

其一，生成报告的自动化程度还不够高。由于企业工作报告属于长文本生成领域，相比流畅性而言更需要逻辑化、专业化、精细化，当下企业自动化报告进程中模板化的方法最为常见，但是生成的报告往往固化、可推广性差，且多应用粗粒度模板，后期还需加入人工修改，实际应用价值有待提高。目前，针对不同领域场景，在根据需求制定领域细粒度模板的基础上，加入NLG技术的报告生成技术是未来的发展方向。

其二，对生成报告评价标准的难以达成共识。语言天生具备复杂性，且由于现有技术的限制，如何客观准确的对文本生成结果做出评价仍然是文本生成领域的一大瓶颈。学术界还没有一个完美的评价指标，既可以保持客观又能做到准确评估。企业针对这项工作大多停留于主观评价方法，在任务量大的情况下，成本会非常昂贵。

虽然学术界对报告自动生成方法已经有了一定研究，但工业界此项技术的发展仍尚未成熟，另外对于企业信息资产涉及保密性要求，企业工作报告自动生成方法在流程化管理方面还有待进一步研究。

基金项目

天津市智能制造专项资金项目(编号：20192008)。

文章引用

冯灿锐,安建业,刘志勇. 面向企业的报告自动生成方法研究综述
Review on Automated Report Generation Methods for Enterprises[J]. 计算机科学与应用, 2022, 12(10): 2307-2317. https://doi.org/10.12677/CSA.2022.1210236

参考文献