使用solr搭建你的全文检索-it论坛

安哥网络

使用solr搭建你的全文检索-it论坛
Solr 是一个可供企业使用的、基于 Lucene 的开箱即用的搜索服务器。对Lucene不熟？那么建议先看看下面两篇文档：
实战Lucene，第 1 部分: 初识 Lucene：http://www.ibm.com/developerworks/cn/java/j-lo-lucene1/
用Lucene加速Web搜索应用程序的开发：http://www.ibm.com/developerworks/cn/web/wa-lucene2/

一、 solr介绍

solr是基于Lucene Java搜索库的企业级全文搜索引擎，目前是apache的一个项目。它的官方网址在http://lucene.apache.org/solr/ 。solr需要运行在一个servlet 容器里，例如tomcat5.5。solr在lucene的上层提供了一个基于HTTP/XML的Web Services，我们的应用需要通过这个服务与solr进行交互。

二、 solr安装和配置

关于solr的安装和配置，这里也有两篇非常好的文档，作者同时也是 Lucene Java 项目的提交人和发言人：

使用Apache Solr实现更加灵巧的搜索：http://www.ibm.com/developerworks/cn/java/j-solr1/index.html

http://www.ibm.com/developerworks/cn/java/j-solr2/index.html

下面主要说说需要注意的地方。

Solr的安装非常简单，下载solr的zip包后解压缩将dist目录下的war文件改名为solr.war直接复制到tomcat5.5的webapps目录即可。注意一定要设置solr的主位置。有三种方法。我采用的是在tomcat里配置java:comp/env/solr/home的一个JNDI指向solr的主目录（example目录下），建立/tomcat55/conf/Catalina/localhost/solr.xml文件。

<Context docBase="D:/solr.war" debug="0" crossContext="true" >

   <Environment name="solr/home" type="java.lang.String" value="D:/solr/solr" override="true" />

</Context>

     观察这个指定的solr主位置，里面存在两个文件夹：conf和data。其中conf里存放了对solr而言最为重要的两个配置文件schema.xml和solrconfig.xml。data则用于存放索引文件。

     schema.xml主要包括types、fields和其他的一些缺省设置。

solrconfig.xml用来配置Solr的一些系统属性，例如与索引和查询处理有关的一些常见的配置选项，以及缓存、扩展等等。

上面的文档对这两个文件有比较详细的说明，非常容易上手。注意到schema.xml里有一个

<uniqueKey>url</uniqueKey>

的配置，这里将url字段作为索引文档的唯一标识符，非常重要。

三、 加入中文分词

对全文检索而言，中文分词非常的重要，这里采用了qieqie庖丁分词（非常不错：））。集成非常的容易，我下载的是2.0.4-alpha2版本，其中它支持最多切分和按最大切分。创建自己的一个中文TokenizerFactory继承自solr的BaseTokenizerFactory。

1. /**
   
2. 
   
3. * Created by IntelliJ IDEA.
   
4. 
   
5. * User: ronghao
   
6. 
   
7. * Date: 2007-11-3
   
8. 
   
9. * Time: 14:40:59
   
10. 
    
11. * 中文切词 对庖丁切词的封装
    
12. 
    
13. */
    
14. 
    
15. public class ChineseTokenizerFactory extends BaseTokenizerFactory {
    
16. 
    
17.     /**
    
18. 
    
19.      * 最多切分   默认模式
    
20. 
    
21.      */
    
22. 
    
23.     public static final String MOST_WORDS_MODE = "most-words";
    
24. 
    
25.     /**
    
26. 
    
27.      * 按最大切分
    
28. 
    
29.      */
    
30. 
    
31.     public static final String MAX_WORD_LENGTH_MODE = "max-word-length";
    
32. 
    
33.     private String mode = null;
    
34. 
    
35.     public void setMode(String mode) {
    
36. 
    
37.              if (mode==null||MOST_WORDS_MODE.equalsIgnoreCase(mode)
    
38. 
    
39.                       || "default".equalsIgnoreCase(mode)) {
    
40. 
    
41.                   this.mode=MOST_WORDS_MODE;
    
42. 
    
43.              } else if (MAX_WORD_LENGTH_MODE.equalsIgnoreCase(mode)) {
    
44. 
    
45.                   this.mode=MAX_WORD_LENGTH_MODE;
    
46. 
    
47.              }
    
48. 
    
49.              else {
    
50. 
    
51.                   throw new IllegalArgumentException("不合法的分析器Mode参数设置:" + mode);
    
52. 
    
53.              }
    
54. 
    
55.         }
    
56. 
    
57.     @Override
    
58. 
    
59.     public void init(Map<String, String> args) {
    
60. 
    
61.         super.init(args);
    
62. 
    
63.         setMode(args.get("mode"));
    
64. 
    
65.     }
    
66. 
    
67.     public TokenStream create(Reader input) {
    
68. 
    
69.         return new PaodingTokenizer(input, PaodingMaker.make(),
    
70. 
    
71.                   createTokenCollector());
    
72. 
    
73.     }
    
74. 
    
75.     private TokenCollector createTokenCollector() {
    
76. 
    
77.         if( MOST_WORDS_MODE.equals(mode))
    
78. 
    
79.              return new MostWordsTokenCollector();
    
80. 
    
81.         if( MAX_WORD_LENGTH_MODE.equals(mode))
    
82. 
    
83.              return new MaxWordLengthTokenCollector();
    
84. 
    
85.         throw new Error("never happened");
    
86. 
    
87.     }
    
88. 
    
89. }

复制代码

在schema.xml的字段text配置里加入该分词器。

1. <fieldtype name="text" class="solr.TextField" positionIncrementGap="100">
   
2. 
   
3.             <analyzer type="index">
   
4. 
   
5.                 <tokenizer class="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory" mode="most-words"/>
   
6. 
   
7. 
   
8.                 <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>
   
9. 
   
10.                 <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0"/>
    
11. 
    
12.                 <filter class="solr.LowerCaseFilterFactory"/>
    
13. 
    
14. 
    
15.                 <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>
    
16. 
    
17.             </analyzer>
    
18. 
    
19.             <analyzer type="query">
    
20. 
    
21.                 <tokenizer class="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory" mode="most-words"/>               
    
22. 
    
23.                 <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
    
24. 
    
25.                 <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>
    
26. 
    
27.                 <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0"/>
    
28. 
    
29.                 <filter class="solr.LowerCaseFilterFactory"/>
    
30. 
    
31.                 <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>
    
32. 
    
33.             </analyzer>
    
34. 
    
35.         </fieldtype>
    
36. 
    
37. </types>
    

复制代码

完成后重启tomcat，即可在http://localhost:8080/solr/admin/analysis.jsp

体验到庖丁的中文分词。注意要将paoding-analysis.jar复制到solr的lib下，注意修改jar包里字典的home。

四、 与自己应用进行集成

Solr安装完毕，现在可以将自己的应用与solr集成。其实过程非常的简单，应用增加数据-->根据配置的字段构建add的xml文档-->post至solr/update。

应用删除数据à根据配置的索引文档唯一标识符构建delete的xml文档-->post至solr/update。

检索数据à构建查询xml—>get至/solr/select/-->对solr返回的xml进行处理-->页面展现。

具体的xml格式可以在solr网站找到。另外就是solr支持高亮显示，非常方便。

关于中文，solr内核支持UTF-8编码，所以在tomcat里的server.xml需要进行配置

<Connector port="8080" maxHttpHeaderSize="8192" URIEncoding="UTF-8" …/>

另外，向solr Post请求的时候需要转为utf-8编码。对solr 返回的查询结果也需要进行一次utf-8的转码。检索数据时对查询的关键字也需要转码，然后用“+”连接。

String[] array = StringUtils.split(query, null, 0);

        for (String str : array) {

            result = result + URLEncoder.encode(str, "UTF-8") + "+";

        }

摘自：http://blog.csdn.net/liuzhenwen/article/details/4060900