admin 管理员组

文章数量: 1087580

python信息检索系统

信息检索系统

利用倒排索引和向量空间模型实现的信息检索系统.

完成工作:

带位置信息的倒排索引

向量空间模型

TOP K查询

BOOL查询

短语查询

拼写矫正

同义词查询

拼写矫正(短语)

运行

环境要求:python3

在初次运行程序前请下载词干还原依赖的语料库

在SearchSystem/main.py中已经注释掉下载语料库的命令

nltk.download("wordnet")

nltk.download("averaged_perceptron_tagger")

nltk.download("punkt")

nltk.download("maxnet_treebank_pos_tagger")

取消注释后运行一次即可,语料库下载完成即可正常运行

windows下如果嫌弃语料库下载比较慢,可以直接将该目录下的nltk_data文件夹替换掉user下的AppData/Roaming/nltk_data文件夹,根目录的nltk_data文件夹是已经下载好的语料库

语料库下载完成后请将相应的下载语注释掉。

在SearchSystem目录下运行命令:

python main.py

注意:运行前请不要修改工程文件的名字和相对位置

SearchSystem工程目录是pycharm的工程

实现功能

词干还原

利用python中自然语言处理的库:nltk对文章中的单词进行词干还原。

在词干还原的过程中会去除无用的标点符号。

本文标签: python信息检索系统