项瑞良，李征宇，孙 平

沈阳建筑大学，计算机科学与工程学院，辽宁 沈阳

收稿日期：2023年8月30日；录用日期：2023年9月30日；发布日期：2023年10月9日

摘要

游客在评论中所表达的意见和感受，能够直观地反映他们对旅游目的地的评价，同时语气鲜明、情感强烈。由此带来的巨大而动态的信息空间需要消费者和产品/服务提供者共同理解和导航。针对目前景区在线评论文本情感分类准确性不高的问题，提出一种基于RoBerta词向量和双向门控循环单元(BiGRU)的改进模型，使用能够表征文本丰富语义特征的Roberta模型进行词向量表示，结合能够长期保留文本上下文关联信息的BiGRU神经网络提高模型的分类效果，并在此基础上引入注意力(Attention)机制，突出文本中更能表达分类结果的情感词权重，提高情感分类的准确率。将上述模型分别在沈阳市3个景区评论数据上进行情感极性分类和预测，实验结果表明，该模型在各数据集上都获得了良好的性能。同时结合LDA主题模型分析，得到游客评论的期望和诉求，为沈阳市旅游业发展提供技术支撑以及未来发展意见。

关键词

RoBerta词向量，BiGRU，注意力机制，情感分析，潜在狄利克雷分布

Research on Sentiment Analysis of Scenic Area Comments Based on RoBerta-BiGRU-Attention

—Taking Shenyang as an Example

Ruiliang Xiang, Zhengyu Li, Ping Sun

School of Computer Science and Engineering, Shenyang Jianzhu University, Shenyang Liaoning

Received: Aug. 30^th, 2023; accepted: Sep. 30^th, 2023; published: Oct. 9^th, 2023

ABSTRACT

The opinions and feelings expressed by tourists in the comments can intuitively reflect their evaluation of the tourist destination, and at the same time, the tone is clear and the emotion is strong. The resulting huge and dynamic information space needs to be understood and navigated jointly by consumers and product/service providers. Aiming at the problem of low accuracy of emotion classification in online comment texts of scenic spots, an improved model based on RoBerta word vectors and bidirectional gated recurrent units (BiGRU) is proposed. The Roberta model, which can represent the rich semantic features of texts, is used to represent word vectors. The BiGRU neural network, which can retain text context information for a long time, improves the classification effect of the model. On this basis, an attention mechanism is introduced to highlight the weight of emotional words in the text that can better express the classification results, and improve the accuracy of emotion classification. The above models were used to classify and predict emotional polarity on the comment data of three scenic spots in Shenyang City. The experimental results show that the model has achieved good performance on each data set. At the same time, combined with the LDA topic model analysis, the expectations and appeals of tourists’ comments are obtained, and technical support and future development opinions are provided for the development of Shen- yang’s tourism industry.

Keywords:RoBerta Word Vector, BiGRU, Attention Mechanism, Sentiment Analysis, Latent Dirichlet Allocation

Copyright © 2023 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

随着Web2.0时代的到来，互联网技术在旅游行业的广泛应用，使得越来越多的游客能够在旅游平台上发布自己的个人体验和旅游评价。大量真实的、独立的、有价值的网络评论数据由此产生，同时也带来了一个新的方向：利用这些游客评论文本进行情感分析研究，获取游客在旅游目的地的感受与体验，为旅游业服务提供者提供宝贵的意见至关重要。然而，庞大的数据源也给人工分析带来了很大的困难。自然语言处理技术(Natural Language Processing, NLP)的发展使大规模数据分析变的高效，从而为景区在线评论情感分析研究提供技术支持。

目前情感分析领域，主流的方法之一是基于深度学习，在神经网络进行情感倾向分析时，通常会采用语言表示模型以考虑不同词汇之间的关系。为此，预训练的词嵌入模型(如Word2Vec、GloVe或Bert等)被广泛应用。这些词嵌入模型将词汇映射到高维向量空间，使得在向量空间中具有相似含义的词具有较近的距离。这种方法有助于捕捉词汇之间的语义关联，提取句子的特征，并协助神经网络更好地理解文本的情感倾向。现有的深度学习模型解决了某些问题，但忽略了其他问题。例如，Chatterjee等人 [1] 利用两个预先训练好的单词嵌入和长短期记忆神经网络(Long Short Term Memory Network, LSTM)来提取情绪和语义进行情绪识别，但他们的模型没有考虑句子不同部分重要性的差异。Rezaeinia等人 [2] 改进了预先训练好的单词嵌入，但没有考虑到过去和未来的上下文的依赖关系和具有不同重要性的单词。为改善这些模型存在的不足，本研究提出了一种新的深度学习模型，用于景区评论的情感分析，该模型考虑句内关系、捕捉过去和未来上下文的依赖关系，并通过分配权重来突出文本的重要部分，选择最重要的特征，增强对重要词汇的关注。然后，结合LDA主题模型(Latent Dirichlet Allocation)，对沈阳市各景区的实际案例进行了研究。首先，使用自定义Python程序爬取游客在各旅游平台上发布的关于沈阳市景区的评论；接着，提出了主要研究框架；通过数据预处理，得到标准化文本数据；同时，运用情感分析获取游客情感倾向的相关性，进一步建立LDA主题模型，识别游客各特征维度的情感，研究成果可为沈阳市未来旅游业的可持续发展和创新开辟新的道路。

2. 相关工作

2.1. 情感分析研究

鉴于在线旅游网站上评论的激增以及由此产生的消费者影响，许多学者都在努力探索在线旅游评论与消费者行为之间的关系，以及评论在多大程度上影响消费者的决策和选择 [3] [4] 。目前倾向于评估旅游在线评论的内容质量的研究仍然稀缺。其中，衡量在线评论语言所传达的情感，特别是判断游客情绪的极性，仍处于起步阶段。

目前，情感分析方法主要分为基于统计的情感分析方法和基于深度学习的情感分析方法两大类。其中，基于深度学习的情感分析模型是通过神经网络学习的，允许网络模型根据上下文信息预测下一个单词的内容，而不依赖于人工标记的语料库，解决了传统基于统计的情感分析方法中的一个关键问题，即人工构建情感词典所需的时间和人力成本。同时，也有效地解决传统情感分析方法忽略语境语义的问题。

在众多深度网络类型中，循环神经网络(Recurrent Neural Network, RNN)在文本处理相关研究中更为常见 [5] 。虽然RNN适用于许多文本情感分析中，但当输入数据中存在长期依赖关系时，它们会出现梯度消失和梯度爆炸。而双向长短时记忆网络(BiLSTM)可以很好的解决长期依赖的关系，能够更好的提取过去和未来的上下文的依赖关系 [1] 。Cho等人 [6] 提出了门控循环单元(Gated Recur‐rent Unit, GRU)，GRU相较于LSTM模型结构更加简单，参数更少，并且能长期保存隐藏层序列信息。尽管深度神经网络在情感分析领域有所进展，但它们仍然存在一些不足之处，不能准确关注文本的重要部分 [7] 。为了解决这个问题，注意力机制被应用于许多自然语言处理任务，特别是情感分析。注意力机制的灵感源自人类的视觉注意机制，试图将注意力集中在文本中更重要的部分，而非句子的所有单词。近年来，在情感分析领域，词嵌入模型和神经网络结合的方法备受关注。其中，Word2Vec是常用的词嵌入模型，用于捕捉单词之间的相似性和词汇关系。通过卷积神经网络或长短期记忆神经网络等结构，可以有效地学习文本特征，加上注意力机制则可以提高情感分类的效果。Zhou等人 [8] 则提出了一种带有注意力机制的双向LSTM，以选择重要的特征；同时，Dragoni等人 [9] 也提出了一种新的情感分析神经词嵌入方法，能够解决以前方法的主要缺点，并因此能够更好地建模长期依赖关系，获得更高的性能表现。冯兴杰等人 [10] 在词向量的表示上选用了Word2vec 模型，利用卷积神经网络(Convolutional Neural Networks, CNN)不断地学习句子的特征，并且添加了注意力机制，从而对文本进行情感分类。Martín等人 [11] 利用酒店相关评论进行对比实验，使用CNN和LSTM进行情感分析文本。谷歌公司于2018年提出Bert (Bidirectional Encoder Representations from Transformer)模型 [12] ，它采用双向编码器表示和Transformer结构，具有更强的文本表征能力。Bert是一种深度、双向、无监督的语言表示模型，可在最新的预训练语言表示工作的基础上使用，可以避免卷积神经网络无法提取评论全局特征和LSTM无法并行计算的问题。因此，Bert已成为自然语言处理任务的预训练语言模型首选。与此同时，RoBerta (Robustly optimized BERT approach)作为Bert的变体 [13] ，它是在Bert的基础上通过更大规模的语料库和更长的训练时间进行训练得到的，RoBerta使用了更多的数据和更深层次的Transformer模型，对语言的理解能力更为优秀。RoBerta采用了动态masking的方式来预训练模型，从而能够更好地学习上下文信息，并且通过改进训练任务，RoBerta可以更好地处理长文本序列，增强了其文本表示能力，提高了性能表现。由于RoBerta在处理长文本序列和上下文理解方面更加出色，可以更好地捕捉文本中的情感信息，因此，本文选用RoBerta预训练语言模型作为文本表征，同时使用结构简单，参数较少的双向GRU网络考虑文本中过去和未来的上下文依赖关系，并对文本的不同部分给予不同的关注，从而提高情感分类的准确度。

2.2. 主题挖掘研究

主题挖掘方法是识别文本主题和挖掘用户在线意见的有效工具 [14] 。目前，主题挖掘有两种类型:依赖文本相似度的传统主题聚类模型 [15] 和概率主题模型，如LDA主题模型 [16] [17] ，即潜在狄利克雷分布，由Blei等人在2003年提出 [18] ，该模型对词汇、主题和文档的三层结构进行贝叶斯概率分布，故也称为三层贝叶斯概率模型。研究表明，LDA模型能够提取网上关于电子商务的负面评论 [19] ，识别社交媒体数据中的主题分布 [20] 。此外，LDA模型还可以用来检测真实的旅游热点和游客在历史旅游体验中的关键信息需求，进而高效地发现短文本的主题特征 [21] 。因此，本研究采用LDA主题模型来识别旅游评论的主题。

3. 论实验流程与模型构建

3.1. 数据采集与预处理

本文调用Python和XPath技术采集携程、去哪儿、马蜂窝、同城旅行、美团、途牛、穷游、驴妈妈等旅游网站，按照景区资源类型不同爬取沈阳市3个4A级及以上的景区的游客评论信息作为本文的研究对象，分别为沈阳故宫、沈阳世博园和沈阳方特欢乐世界。通过观察爬取得到的数据发现，评论数据中有一些重复的评论、刷单评论、凑字评论、瞎乱打字的评论、系统默认的评论等对分析情感无参考意义，这些评论的存在都会对后续的文本分析工作造成不利的影响，因此采用人工与程序共同清除。同时，本文采用各平台自带的好评与差评标准，人工筛选其中评论是否归类成功，用于后续研究。接着对评论文本数据使用停用词表，去除数据中的重复词、停用词、无用词汇等，得到标准化文本数据。最后，利用Python的第三方库jiaba分词工具对数据进行分词处理，结果如表1所示：

表1. 各景区评论数据统计

3.2. 建立情感分析模型

本研究构建了一种新的情感分析模型，即基于RoBerta预训练模型得到的词向量和BiGRU-Attention的景区评论情感倾向分析模型如图1所示，该模型主要由4部分组成，分别为RoBerta词嵌入层、BiGRU层，注意力层和Softmax分类层。模型的输入是数据预处理好的标准化在线游客评论文本，经过RoBerta预训练模型得到词向量，然后将其送入到下游任务BiGRU层提取上下文之间的信息，接着结合注意力机制得到赋予有权重的评论文本信息，最后将该层的输出使用Softmax函数进行情感分类。

图1. 基于RoBerta-BiGRU-Attention情感分析模型

3.2.1. RoBerta词嵌入层

RoBerta是由Facebook人工智能研究团队开发的预训练语言模型，它基于Bert模型的体系结构，但包括一些改进和修改，使其在一系列自然语言处理任务中表现的更好。RoBerta的体系结构使用双向编码器结构对文本进行编码，它也是一种双向语言模型。这意味着RoBerta可以同时考虑给定单词左右的上下文，以便更好地理解其含义和在句子中的使用，能够获得更全面的上下文信息，因此本文选用RoBerta实现词向量的表示，RoBerta模型逻辑结构如图2所示。

图2. RoBerta模型逻辑结构图

3.2.2. BiGRU层

门控循环单元GRU (Gated Recurrent Unit)是长短期记忆网络LSTM (Long Short Term Memory)的变体，其内部结构比后者少一个遗忘门，该门的作用是控制前一时刻的记忆是否需要被遗忘，而GRU通过重置门和更新门的组合来实现类似的功能，因此该模型在保证网络学习效果的同时使结构更加简单，加快了训练速度。但单向GRU在获取文本的未来上下文信息时表现不佳，因此本文采用双向的GRU，分别对同一个输入训练序列进行向前和向后训练提取更深层次的文本特征，使得序列中每一个节点都能完整地依赖所有上下文信息。双向GRU的基本结构如图3所示。

图3. BiGRU模型

BiGRU的输入为上一层RoBerta模型输出的词向量，其输出由上一时刻前向隐层状态 ${\stackrel{\to }{h}}_{l-1}$ 、反向隐层状态 ${\stackrel{\leftarrow }{h}}_{l-1}$ 和当前时刻的输入 $x_l$ 三部分决定。GRU网络结构的计算过程公式如下：

$z_l=\sigma \left(W_z{x}_l+U_z{h}_{l-1}+b_z\right)$ (1)

$r_l=\sigma \left(W_r{x}_l+U_r{h}_{l-1}+b_r\right)$ (2)

${\tilde{h}}_l=\tanh \left(W_h{x}_l+U_h\left(r_l\cdot h_{l-1}\right)+b_h\right)$ (3)

$h_l=z_l\cdot h_{l-1}+\left(1-z_l\right)\cdot {\tilde{h}}_l$ (4)

式中： $z_l$ 和 $r_l$ 代表更新门和重置门； ${\tilde{h}}_l$ 代表候选隐藏层状态； $h_{l-1}$ 和 $h_l$ 分别代表 $l-1$ 和l时刻的隐藏层态；W和U为权重；b为偏置；σ代表Sigmoid函数。BiGRU网络结构的计算过程公式如下：

${\stackrel{\to }{h}}_l=GRU\left(x_l,{\stackrel{\to }{h}}_{l-1}\right)$ (5)

${\stackrel{\leftarrow }{h}}_l=GRU\left(x_l,{\stackrel{\leftarrow }{h}}_{l-1}\right)$ (6)

$h_l=F\left(W_{\stackrel{\to }{h_l}}{\stackrel{\to }{h}}_l+W_{\stackrel{\leftarrow }{h_l}}{\stackrel{\leftarrow }{h}}_l+b_l\right)$ (7)

式中： ${\stackrel{\to }{h}}_l$ 和 ${\stackrel{\leftarrow }{h}}_l$ 分别为l时刻的前向和后向隐藏层的状态；F为激活函数 $W_{\stackrel{\to }{h_l}}$ 和 $W_{\stackrel{\leftarrow }{h_l}}$ 分别为l时刻前向和后向隐藏层状态的权重； $b_l$ 是l时刻隐藏层状态的偏置。

3.2.3. 注意力机制层

为了捕获更准确的文本信息，引入注意力机制学习词汇间的依赖关系，通过将BiGRU层的输出分配不同的特征权重，在关键词汇信息中给予更多的关注，进一步提高情感分类的准确度。在情感分析中，由于文本中词汇的重要程度不同，特征权重也不同，引入注意力机制可以更好地学习词汇间依赖关系，增强对重要词汇的关注度。因此，通过分配不同的权重来关注上下文的重要部分，以进一步提高分类的准确度。注意力机制根据信息的重要性为输入信息分配权重参数，称为注意力值。注意力值是通过首先确定输入信息的注意力分布来计算的，这会产生一个注意力得分(Attention Score)函数，然后使用Softmax函数对该函数进行归一化数值变换，得到的值根据权重系数进行加权求和。换句话说，注意力机制计算每条输入信息的重要性，并使用该信息对最终输出进行加权，具体计算公式如下：

$u_t=v^T\tanh \left(W{h}_m+U{h}_t\right)$ (8)

$a_t=\frac{\exp \left(u_t\right)}{{{\displaystyle \sum }}_t\exp \left(u_t\right)}$ (9)

$V={\displaystyle {\sum }_t{a}_t{h}_m}$ (10)

式中： $h_m$ 、 $h_t$ 为时刻m、t的BiGRU的输出， $h_m$ 为输入信息向量， $h_t$ 为查找关键信息的查询向量，W、U、v是参数向量，通过Softmax函数进行归一化处理。将原始计算分值转化成所有权重之和为1的概率分布，更加突出重要元素的权重，最后将所有输入信息的概率汇总，采用加权平均的方式求和，得到注意力值V。

3.2.4. Softmax分类层

最后，我们使用密集层对得到的特征向量h进行降维，这一步骤有助于简化评论文本的表达，同时保留其最重要的特征。接下来，我们合并密集层的输出，并将它们通过一个全连接层，这一层有助于捕捉评论文本不同特征之间的关系，并生成更具信息性的评论文本表示。最后，我们使用Softmax函数来获得评论文本情感标签的概率，计算公式为：

$y=Softmax\left(W_f\cdot V+b_f\right)$ (11)

3.3. 建立LDA主题模型

LDA主题模型，作为一种文档主题生成模型，该模型通过与语料库相关的Dirichlet先验来生成文本各段落中主题的多重分布。假设一组文档，令D表示文档个数，K表示主题个数；其中每个文档D都是一个含有N个单词的序列，其中 $w_{d,n}$ 是文档D的第n个单词， $z_{d,n}$ 是文档D的第n个主题。 ${\theta }_d~Dir\left(\alpha \right)$ 表示服从超参数为 $\alpha$ 的Dirichlet概率分布， ${\beta }_k~Dir\left(\mu \right)$ 表示服从超参数为 $\mu$ 的Dirichlet概率分布。LDA模型的联合概率分布函数如式(12)所示：

$p\left(\beta ,\theta ,z,\omega \right)=\left(\underset{d-1}{\overset{D}{{\displaystyle \prod }}}p\left({\theta }_d|\alpha \right)\underset{n-1}{\overset{N}{{\displaystyle \prod }}}p\left(z_{d,n}|{\theta }_d\right)\underset{d-1}{\overset{D}{{\displaystyle \prod }}}p\left(z_{d,n}|{\beta }_{i,k},z_{d,n}\right)\right)\left(\underset{i-1}{\overset{K}{{\displaystyle \prod }}}p\left({\beta }_i|\mu \right)\right)$ (12)

由于无法直接获得LDA主题的数量，本研究参考了相关文献中基于主题相似度和困惑度评价指标确定最优LDA主题数量的方法。假定主题取值范围为[1, 20]，计算困惑度(Perplexity)数值，计算公式如式(13)、(14)所示，该数值一般随着潜在主题数量的增加呈现递减的规律，该数值越小，该主题模型的生成能力越强。

$Perplexity\left(D\right)=\exp \left\{\frac{-{{\displaystyle \sum }}_{d=1}^M\log \left(p\left(w_d\right)\right)}{{{\displaystyle \sum }}_{d=1}^M{N}_d}\right\}$ (13)

$p\left(w_d\right)=\underset{k}{{\displaystyle \sum }}p\left(k\right)p\left(w|z,g\right)$ (14)

其中M为语料库的大小， $N_d$ 为文档D的文本大小，k为主题，w为文档，g为训练集训练的文本主题分布。模型生成能力越强， $p\left(w_d\right)$ 越小。

本文使用Python的数据可视化包Matplotlib绘制训练出来的困惑度与主题数的折线图，通过观察折线图拐点确定最优主题的数值。然后将该主题数作为LDA主题模型的超参数进行主题分析，我们可以得到主题特征词的概率分布，从而分析每个主题下的特征词的语义特征，最后通过人工提炼汇总每个主题下特征词的描述内容。

3.4. 实验参数设置

本文使用Python编程语言进行建模，其中RoBerta-BiGRU-Attention模型部分使用深度学习框架Pytorch进行模型搭建，LDA主题模型使用Python的第三方库scikit-learn进行建模，具体超参数如表2：

表2. 实验参数

3.5. 实验评估标准

本文使用测试集对模型进行评估，具体使用3个评估指标：加权精准率(Weighted Precision, WP)、加权召回率(Weighted Recall, WR)和加权F1值(Weighted F1, WF1)。假设 $T{P}_i$ 表示模型预测评论为i极性的同时真实评论为i极性的数量， $F{P}_i$ 表示模型预测评论为i极性的同时真实评论不为i极性的数量， $F{N}_i$ 表示真实评论为i极性但模型预测评论不为i极性的数量， $f_i$ 代表i极性的权重，其中i为正向情感极性为1，反之为0。具体计算如公式如下：

$\text{WP}=\left(\frac{f_0\cdot T{P}_0}{T{P}_0+F{P}_0}+\frac{f_1\cdot T{P}_1}{T{P}_1+F{P}_1}\right)\cdot \left(\frac{1}{f_0+f_1}\right)$ (15)

$\text{WR}=\left(\frac{f_0\cdot T{P}_0}{T{P}_0+F{N}_0}+\frac{f_1\cdot T{P}_1}{T{P}_1+F{N}_1}\right)\cdot \left(\frac{1}{f_0+f_1}\right)$ (16)

$\text{WF}1=\frac{2\cdot \text{WP}\cdot \text{WR}}{\text{WP}+\text{WR}}$ (17)

4. 实验结果与分析

4.1. 数据处理

本文使用Python随机抽取每个景区各8000条在数据预处理部分得到的标准化评论文本数据作为研究对象，其中5000条数据按照8:1:1的比例划分为训练集、验证集、测试集，作为RoBerta-BiGRU-Attention模型的训练数据，余下的3000条数据进行情感倾向预测。

4.2. 情感分析模型结果

本文在训练集上训练模型，同时使用测试集进行评估。为验证本文采用模型的情感分类效果，接下来将进行与其他基线模型的对比实验。

1) RoBerta模型：使用RoBerta获取词向量，直接通过全连接层(也称为分类层)进行情感倾向预测。

2) RoBerta-BiGRU模型：使用RoBerta获取词向量，通过BiGRU对文本特征进行提取，然后通过分类层进行情感倾向预测。

为保证模型实验的客观公正性，在对比实验时使用的数据集都是各景区的在线评论，且实验的参数保持一致，三种模型的情感倾向实验结果表3、表4和表5所示：

表3. 沈阳世博园景区评论数据实验结果

表4. 沈阳故宫景区评论数据实验结果

表5. 沈阳方特欢乐世界景区评论数据实验结果

本次研究在训练集上训练本文所构建的模型，并使用测试集来进行评估。同时本文实验了其他两种情感分析模型进行对比，以此来证明本文模型的鲁棒性。3个实验结果所示，本文提出的RoBerta-BiGRU-Attention模型在3个不同数据集上，所有评估指标上表现最好，其次是RoBerta-BiGRU模型，最后是RoBerta模型。这表明加入了双向GRU和注意力机制对情感倾向分析任务有益。基于预训练模型RoBerta在进行多次调参后，选取模型算法的最佳结果，实现的情感分析模型在各个景区表现良好，其加权平均精准率、加权平均召回率以及加权平均F1值在各数据集中分类效果均好，且能达到94%的分数，分析原因一是RoBerta产生的词向量是动态的，考虑了文本的上下文语义信息。原因二是注意力机制可以有效捕捉上下文甚至整体的关键信息句子，并融合到当前的词向量中，其可以给文本不同的部分分配不同的权重，进而提高情感倾向分析的准确性。

综上所述，本文将采取提出的RoBerta-BiGRU-Attention模型继续对余下的3000条未标注的景区评论进行情感预测。同时对最后的预测结果进行人工检测，保证情感倾向分析达到最小失误。

4.3. LDA主题挖掘结果

接着将情感倾向分析标注好的数据，利用Python的Pandas库分析正、负情感极性分布，送入到LDA主题模型中，输出结果为各景区评论主题。本文参考相关文献的经验 [22] ，将主题数K的取值范围设为[1, 20]，计算不同主题数下的困惑度数值，然后使用利用Python的数据可视化包Matplotlib绘制出与主题数相关的困惑折线图。这里以沈阳故宫为例，展示困惑度分析结果如图4所示：

图4. 困惑度折线图

当K = 5时，困惑度数值最小(图中红色标记处)，因此选择主题数为5作为LDA主题模型的超参数，其他景区用困惑度确定主题数的求法相同。

然后使用Python的scikit-learn库的LatentDirichletAllocation函数，对各景区标注好情感倾向的评论数据分别构建LDA主题模型。经过LDA主题分析后，在每个主题下生成12个最有可能出现的词语，随后对主题分析的结果进行评价，得到各景区评论数据的主题–特征词分布结果，如表6、表7和表8所示：

1) 沈阳世博园景区

主题1是关于沈阳世博园景区门票和游园体验方便程度的评论，涉及到的词汇有入园、换票、买票、取票、扫码等。游客认为购票入园比较方便，排队时间较短，也提到了门票优惠信息。

主题2主要是针对沈阳世博园景区内部设施和景点的评价，包括一些负面评价，比如地方不好、不能进去、收费高等。同时，也有一些中性的词语，如建议、感觉等。

主题3是关于沈阳世博园景区适合亲子游玩的评价，包括可以孩子开心、环境适合、喜欢景色、设施齐全等词汇。游客认为沈阳世博园非常适合家庭游玩，有很多景点和游乐项目，适合各个年龄段的人群。

主题4主要评价沈阳世博园景区维护和季节变化的评论，包括一些词汇如现在、季节、已经、菊花、百合等。游客认为沈阳世博园景区虽然有一些缺点，但整体维护还是比较好的，不同的季节景色也各具特色。

主题5主要评价了沈阳世博园景区作为旅游胜地的评价，包括沈阳作为城市的特点，以及沈阳世博园景区自身的特色，如值得一去、很大、环境优美等词汇。游客认为沈阳世博园是一个很好的旅游目的地，适合休闲游玩和观光旅游。

表6. 沈阳世博园景区评论主题–特征词

综上所述，这5个主题分别反映了游客对沈阳世博园景区不同的维度，分别是主题一关于门票和游园方便程度的评价；主题二主要评价了景区内设施、景点和用户体验；主题三是关于适合亲子游玩的评价；主题四主要评价了季节和景区维护情况；主题五主要评价沈阳世博园作为旅游胜地的特点和特色。统计积极与消极主题评论的数量，进而剖析游客的情感倾向占比情况，其可视化结果如图5所示：

图5. 沈阳世博园正负评论数量统计

由主题占比情况，我们可以得出结论，主题一、主题三、主题五的正、负情感的评论数量相差极大，说明景区的票价、交通便利情况、性价比体验等方面给游客带来的感受总体来说是很不错的，得到了多数游客的肯定。然而，在主题二中，游客的负面评论数量远超过正面评论数量，这表明一部分游客对于景区相关设施的价格和提供的价值感到不满意。他们认为景区内部的景色没有达到他们心中的期望，票价过高，给游客带来了不佳的体验。该景区服务提供者需要通过不断优化景区的各个方面，可以提升游客的整体体验和满意度。

2) 沈阳故宫景区

主题1中游客将沈阳故宫与北京故宫做横向对比，游客的整体评价主要关注故宫值得游览的地方、文化感受、适合孩子等方面。

主题2说明游客关注故宫景区的服务设施质量，评论中提到了讲解员态度和细心，同时也提到了一些景点开放问题和维修情况等建议。

主题3侧重关注沈阳故宫的空间大小、建筑外观、环境清洁、以及与游览体验相关的事项如售卖雪糕等。

主题4主要关注故宫的历史和文化底蕴方面，有故宫的宫殿、皇帝、满族等方面。

主题5主要关注游客对沈阳故宫的方便性、值得性、服务质量等方面，同时提出了门票价格、排队等建议。

表7. 沈阳故宫景区评论主题–特征词

综上所述，这五个主题涵盖了游客对沈阳故宫的整体评价、导游服务、历史文化底蕴、游览体验和服务质量等方面。每个主题都有不同的评论特点和关注点，分别反映了游客们在游览过程中的不同体验和感受，然后统计积极与消极主题评论的数量，进而剖析游客主要关注沈阳故宫景区的维度，可视化结果如图6所示：

图6. 沈阳故宫正负评论数量统计

根据可视化结果可知，在5个主题中，主题一的积极评论数量最多，说明大部分游客对沈阳故宫的整体评价是非常满意的，此外，主题二的消极评论数量较多，通过对这部分游客的评论分析可知，造成游客满意度较低的因素主要有部分游客认为讲解员的讲解不够细致，景区内部分设施在维修等。

游客对于沈阳故宫景区存在不满意的方面有：一是讲解员的服务质量不尽如人意，需要提高专业水平和服务态度；二是景区内部分设施需要加强维护管理，确保游客有更好的游览体验和感受。为此，景区服务提供者需采取针对性的措施，努力改进上述问题，提升服务水平，完善管理体系。进一步了解游客的需求和反馈，不断优化景区的服务和管理模式，为广大游客创造更好、更舒适、更安全的游览环境。

3) 沈阳方特欢乐世界景区

主题1描述沈阳方特欢乐世界特定人群的体验感受，小孩子表示很喜欢很开心，值得推荐。

主题2描述沈阳方特欢乐世界景区的整体评价，游客觉得这里非常好玩，设施特别棒，环境也很好，值得强烈推荐给大家，服务态度也很好，满意度较高。

主题3描述沈阳方特欢乐世界景区的夜间场景，客人们认为晚上的表演十分好看，需要注意烟花燃放时间与排队，适合大家一起来感受夜场氛围。

主题4描述沈阳方特欢乐世界景区的刺激项目，例如火流星、维苏威等，游客感觉这些项目非常刺激和极限，很有挑战性。

主题5描述沈阳方特欢乐世界景区的一些问题，例如排队时间、收费等，游客建议需要改进和提高服务质量。

表8. 沈阳方特欢乐世界景区评论主题–特征词

根据可视化结果图7的分析，沈阳方特欢乐世界景区的游客对于前四个主题的评价普遍偏向正面，反映出游客对该景区在整体体验、游乐设施、景区内活动项目等方面的高度认同。然而，在主题五中，游客的差评数量明显高于正面评论数量，这一结果主要与景区内排队情况存在密切关联。游客反映排队等待时间过长，导致能够游玩的项目较少，游玩体验下降。同时，一些游乐设施的收费标准也存在争议，需要进行进一步的调整。因此，为了提升沈阳方特欢乐世界景区的整体竞争力，有必要加强排队管理和游乐设施的优化改善。具体而言，可以采取增加游乐设施数量、优化排队流程、引入虚拟排队等方式来解决排队问题，提升游客的满意度。除此之外，景区还可以提高服务水平，给游客提供更加细致周到的服务和关爱，增强游客的归属感。在收费方面，可以进行合理的调整，让游客感受到物有所值，从而提升游客的消费意愿。

图7. 沈阳方特欢乐世界正负评论数量统计

5. 结语与展望

本文提出了一种名为RoBerta-BiGRU-Attention的景区在线评论文本情感分类模型，它结合了RoBerta预训练语言模型、BiGRU神经网络和注意力机制。在该模型中，RoBerta生成词向量作为输入，BiGRU网络对文本特征进行提取，注意力机制对文本中更能表达情感的单词进行加权处理，以实现文本情感分类。相较于其他模型，RoBerta-BiGRU-Attention能够高效地捕获文本及其上下文的总体特征，并显著提高分类性能。实验结果显示，该模型在沈阳市3个景区在线评论数据中表现良好。此外，本文还结合LDA主题模型完成了游客在景区下不同主题维度情感倾向的识别分析。这一分析可以帮助景区管理者深入理解游客的评价和需求，有利于制定更科学、合理的经营策略，提高景区服务质量和满意度。综上所述，本文的模型不仅有着广泛的应用前景，而且能够对旅游业的发展产生积极的影响。

文章引用

项瑞良,李征宇,孙 平. 基于RoBerta-BiGRU-Attention的景区评论情感分析研究——以沈阳市为例
Research on Sentiment Analysis of Scenic Area Comments Based on RoBerta-BiGRU-Attention—Taking Shenyang as an Example[J]. 数据挖掘, 2023, 13(04): 312-326. https://doi.org/10.12677/HJDM.2023.134031

参考文献