用于信息检索的贝叶斯网络模型扩展

(北京北大方正软件技术学院 软件技术系，河北 廊坊 065000)
摘 要：针对传统的信息检索方法采用基于关键词匹配的 模式，导致查询效率低下的问题，利用同义词对查询术语进行扩展，提出了一种用于信息检 索的贝叶斯网络模型扩展，并引入词共现的方法挖掘术语之间的相关关系。实验结果表明， 新模型能够有效地提高检索效率。
关键词：贝叶斯网络；信息检索；同义词；词共现
中图分类号：TP391  文献标识码：A  文章编号：1007—6921(2009)22—0090—02

贝叶斯网络检索模型可以计算术语与术语，术语与文档之间的条件概率，但是网络拓扑结构 显得很复杂，没有层次性。文献［1］给出了一种贝叶斯网络检索模型，该模型提出 了一种新的可以称为传播+估计的推理技术，能够提高一定的检索速率。为了更好地利用贝 叶斯网络，利用同义词扩展查询术语，并引入词共现的方法对基本的贝叶斯网络检索模型进 行扩展，有效地提高了检索效率。
1 相关知识
1.1 同义词介绍

同义词的概念并不等同于语言学和日常生活中的同义词，它不考虑感情色彩和语气，主要是 指能够相互替换、表达相同或相近概念的词汇［2］。同义词能从概念语义上表达用 户的查询意图，如“电脑”—“计算机”，“重构”—“重组”等。

由于自然语言中存在大量的同义词和近义词，用户检索时很难全部列举出表示同一概念的不 同词汇，因而造成了检索效率低下。为此，引入同义词扩展查询，可以检索到更多的文档。 
1.2 词共现方法

在信息检索中，如果两个词经常共同出现在文档的同一窗口单元（如章、节、段），就认为 两个词在意义上是相互关联的，并且共现的概率越高，其相互关联越紧密［3］。一 般情况下，选择整篇文档作为窗口单元。

这里采用的词共现方法是基于统计学的理论，在文档经过处理后，用公式（1）计算文档中 任意两个术语和之间的相关系数。
     

其中c(t_i,t_j)表示术语t_i与t_j共同出现的频率，c(t_i⁾表示术语ti出现的频率 ，c(t_j)表示术语t_j出现的频率。
2 用于信息检索的贝叶斯网络模型扩展
2.1 模型的网络拓扑结构

文档集合d表示为d={d₁，d₂，…，d_n}；这些文档的索引术语集合t表示为t={t₁，t₂， …，t_m}。 图1给出了贝叶斯网络模型扩展的拓扑结构，其中q被定义为查询术语节点，d _k定义为文档节点，t_j定义为索引术语节点，t_j有一条指向被它索引的文档d_k的弧。 采用两个术语层来挖掘文档索引术语之间的关系，完

2.2 同义词的获取

在贝叶斯网络模型扩展中，每个查询术语的同义词都用来扩展查询，即如果从查询术语节点 q有一条指向术语节点t_i的弧，则表示t_i是查询术语q的同义词。对每个查询术语q ，通过同义词词典的方法找出其同义词，并存入集合R(q)中。

2.3 术语之间关系 的挖掘

与t_j最相关的术语集合R(t_j)用词共现方法来确定，因为术语t_j和t_i的相关系数与 它们在文档中的权重有密切的联系，所以对公式（1）进行改进：

其中tf_ijk表示文档k中术语t_i和t_j同时出现的频率，df_ij表示同时出现术 语t_i和t_j的文档数目，m_titj表示术语t_i和t_j所包含的单词个数。 
w_jk表示术语t_j在文档k中的权重，用公式（4）进行计算：


其中a是参数，满足0＜a＜1，用来控制考虑术语之间的 相关关系对tj的相关概率的影响程度。
2.4.1.3 术语t_j的同义词或者相关词有可能是同一个术语，那么采用加权求均值的方 法计算。
2.4.2 索引术语和文档之间的条件概率计算：

对给定的查询q，计算文档d_k的最终后验概率p(d⁺_k｜q)：

根据以上推理，计算文档节点d_k的后验概率P(d⁺_k｜q)，整个的信息检索过程就完成 了，最后将文档按照概率大小降序返回给用户。
3 实验结果与分析

实验所用的文档来源于中国学术期刊网全文数据库，从该数据库中下载了300篇文档作为测 试集合，经过处理后得到437个代表文档主要内容特征的索引术语，并针对这些文档构造了3 个查询。在以上实验数据的基础上做基于贝叶斯网络模型的信息检索，表1中列出了采用不 同方法得到的检索结果。

方法1是基本贝叶斯网络模型的检索方法，方法2是基于查询扩展的贝叶斯网络模型的检索方 法，方法3为本文设计的贝叶斯网络扩展模型的检索方法，当参数α的取值为0.6时可以得 到比较理想的检索效果。

从表1可以看出，采用基于扩展的贝叶斯网络模型的方法都要优于方法1；方法2仅从单一的 查询扩展方面考虑，导致查准率不高；方法3要优于方法2，因为在查询扩展的基础上，又考 虑了术语之间的相关关系，所以本文设计的检索策略能够达到更好的检索效果。
［参考文献］
［1］ L.M. DE CAMPOS， J.M. FERN′ANDZE-LUNA， J.F. HUETE. The BNR model:  fo undations and performance of a Bayesian network-based retrieval model［J］. Inte rnational Journal of Intelligent Systems， 2003， 18(2):251～265.
［2］ 陆勇，侯汉清. 用于信息检索的同义词自动识别及其进展［J］.南京农业大学 学报，2004， 4(3): 87～92.
［3］ 吴光远，何丕廉，曹桂宏等. 基于向量空间模型的词共现研究及其在文本分类 中的应用［J］.计算机应用，2003，(23):138～140.
［4］ C. FABIO， L. M. DE CAMPOS， J. M. FERNANDEZ-LUNA， et al. A multi-l aye red Bayesian network model for structured document retrieval［J］. Lecture Notes  in Computer Science，2003，(2711):74～86.
［5］ L.M. DE CAMPOS， J.M. FERN′ANDZE-LUNA， J.F. HUETE. Clustering term s  in the Bayesian network retrieval model: a new approach with two term-layers［J ］. Applied Soft Computing，2004，(4):149～158.