摘要：近年來，學術搜索引擎已經成為用戶了解知識的必備工具。以中國知網為例，在精確檢索文獻功能上已經做得無可挑剔，但是在對主題的概括工作上卻偏少，用戶較難在短時間內了解一個主題。本系統設計在對檢索結果的反饋上做出優化，在系統有了充足知識儲備后，為用戶提供數據挖掘與可視化，用戶鍵入一個關鍵詞后能有一個可視圖表反饋。

本系統使用的基礎語言是Java；采用Maven管理項目；采用分布式設計整套系統。系統從上至下共有五個功能模塊實現。定時任務模塊使用Springboot-ScheduledTask；網絡爬蟲模塊采用HTMLUnit框架；服務通信模塊使用HTTP通信；中文分詞模塊采用開源的IK分詞器；數據存儲采用Spring Data JPA。

服務端功能有：按照關鍵詞爬取中國知網（以下簡稱CNKI）論文；定時任務爬取CNKI論文；中文分詞。管理員使用功能：節點健康檢測；服務列表監控及管理；服務配置修改。用戶使用功能：搜索關鍵詞返回可視化數據。

關鍵詞：學術搜索引擎；知識圖譜；爬蟲

目  錄

摘  要

ABSTRACT

第一章  緒 論-1

1.1 論文背景及意義-1

1.2 主要工作以及貢獻-2

1.3 國內外研究現狀-2

1.3.1 國外研究現狀-2

1.3.2 國內研究現狀-2

1.3.3 現階段國內外研究成果對比小結-3

1.4 論文結構安排-3

第二章  開發環境配置和相關技術介紹-4

2.1 服務器開發環境配置-4

2.2 開發相關介紹-5

2.2.1 微服務設計思想-5

2.2.2 Spring技術-5

2.2.3 SpringBoot框架-5

2.2.4 Spring Cloud Alibaba框架-6

2.2.5 Spring Data JPA-7

2.2.6 HtmlUnit框架-8

2.2.7 IK分詞器-8

2.2.8 RabbitMQ消息隊列-8

2.3 本章小結-9

第三章  系統分析-10

3.1 系統總體需求分析-10

3.1.1 用戶需求分析-10

3.1.2 后臺需求分析-11

3.1.3 非功能分析-11

3.2 系統總體設計-12

3.3 數據獲取層分析-14

3.4 數據存儲支持層分析-15

3.5 數據融合層分析-15

3.6 知識計算和應用層分析-15

3.7 本章小結-16

第四章  系統實現-17

4.1 系統架構實現-17

4.2 數據獲取層實現-20

4.2.1 爬蟲功能-21

4.2.2 數據整理并清洗-24

4.3 數據自動接入實現-25

4.3.1 定時任務實現-26

4.3.2 中文分詞服務-27

4.3.3 服務名通信-28

4.4 日志模塊-29

4.5 數據輸出模塊-30

第五章 系統測試與維護-33

5.1 系統日志監控-33

5.2 系統數據庫監控-34

5.3 分布式系統節點監控-34

第六章  總結與展望-35

參考文獻-37

致  謝-39