解决Solr增量导入MySQL数据的问题

安哥网络

解决Solr增量导入MySQL数据的问题
有时Solr的deltaQuery不能工作，这时只需稍微修改全库导入的配置文件，编写一个新的requestHandler即可，在使用的时候依然使用full-import命令

步骤一：在solrconfig.xml中插入一个新的requestHandler，增加如下几行

1. <requestHandler name="/dataimportcommentdelta" class="org.apache.solr.handler.dataimport.DataImportHandler">
   
2. <lst name="defaults">
   
3. <str name="config">data-config-comment-delta.xml</str>   
   
4. </lst>
   
5. </requestHandler>

复制代码

步骤二：编写data-config-comment-delta.xml，写入如下内容，注意query中的条件，dih.last_index_time，表示solr上一次做索引的时间。Solr执行这个配置的full-import实际上就等价于增量导入数据

1. <dataConfig>
   
2.    <dataSource type="JdbcDataSource"
   
3.               driver="com.mysql.jdbc.Driver"
   
4.               url="jdbc:mysql://localhost/mooc"
   
5.               user="root"
   
6.               password="root"/>
   
7.    <document>
   
8.     <entity name="comment"
   
9.     query="SELECT id, DATE_FORMAT(writetime, '%Y-%m-%dT%TZ') as 'writetime', title from comment WHERE DATE(updatetime) > '${dih.last_index_time}' OR DATE(writetime) > '${dih.last_index_time}">      
   
10.        <field column="id" name="id"/>      
    
11.        <field column="writetime" name="writetime"/>
    
12.        <field column="title" name="title"/>           
    
13.     </entity>      
    
14.   </document>
    
15. </dataConfig>

复制代码

解决Solr增量导入MySQL数据的问题
摘自：http://my.oschina.net/u/2242064/blog/346215