给词典文件加新词相对来说比较简单，用程序实现的话，貌似也不是很复杂。主要是对重复词条的判断，我是先读进数组再判断的，虽然现在文件还不算大，但是总觉得以后会影响效率，MS用sed会简单不止一点儿吧，神仙说的。在这里再一次感到作为一个linux小白的压力，= =。

接下来的两步用exec就可以实现了，但是，= =，权限好麻烦啊，一知半解，最后全777了，OTZ，好烦，不想看书。

有时候真的很懒，= =，懒得思考，所以有时候问得问题可能很白痴，非常感谢师傅的耐心解答。

over。= =

原型: function BuildExcerpts ( $docs, $index, $words, $opts=array() )

BuildExcerpts用来产生文档片段，有时候真怀疑到底是我思维有问题，还是coreseek设计的有问题，= =。不过此问题也不必太深究，既然用了，就暂且照着来吧。

这个方法效果不错，就是做法就点儿NC？= =。搜索后只拿到记录的id就不说啥了，再重新取数据得出二维数组，然后再把每一条记录中的某字段内容拿出来再做成数组，这个数组就是$docs了，然后使用BuildExcerpts方法得到高亮后的数组，再重新放回到原来的二维数组中。

到底是不是我想复杂了。。= =，$index只要写一个索引就行了。

再说UpdateAttributes吧。

原型: function UpdateAttributes ( $index, $attrs, $values )

立即更新指定文档的指定属性值。可以说，增量索引是为增量记录存在，这个方法则是为修改和删除考虑的。

修改跟删除，其实是一样的，不过从细处说又不太一样。

先说修改，我的做法是，写一个方法，只传入记录的id，然后从数据库取出记录，用此方法更新配置文件中所有的属性。这个其实还是很简单的，不过删除时碰到了点儿问题。后来经神仙指点，在配置文件sql_query的sql语句加一个字段，比如原来是select id, title, content from table，改成select id, title, content, 1 as del from table。这样只要在程序里多加一个过滤字段就可以了，删除时，只更新此字段，

$s->UpdateAttributes(‘post_main, post_delta’, array(‘del’), array($id => array(0)));

这样就可以了。

文档文档，写不来啊写不来。

还是先说今天吧。

今天的时间都花在coreseek的索引更新机制上了，原来是每隔一分钟更新增量索引，每天再重建一次索引。sph_counter 中存放区分主索引和增量索引的maxid。现在的方法，依旧是每分钟更新增量索引，但是重建索引改成合并，将增量索引合并到主索引中，并更改sph_counter中的maxid值，清空增量索引。搜索则都是同时从两个索引中搜索。

这个可是折腾了大半天才得出来的结果，合并索引不难。

其他两个都有问题，先说下今天碰到的情况。

先是更新sph_counter的maxid值，这个时候还没有考虑到清空增量索引，所以合并索引这步暂时是没有问题的，而合并索引后，再更新增量索引，还会得到第一次建立索引后的所有增量，因为没有改变maxid，后来在coreseek.cn上看到有人提到sql_query_post_index，可以更新增量索引后改变maxid值，于是在增量index中加入了这个选项，= =开始是手工更新增量索引，合并到主索引，这两步一起做，没有问题，后来用crontab才发现，增量索引每更新一次，前面的记录都会丢失，因为这些记录还没有合并到主索引就被更新的增量索引覆盖了。这个方法行不通，后来问了神仙，= =，原来脚本也可以更改数据表中的值，请教了一下，此问题解决。说完另一个问题，一起贴最终的脚本内容。

合并索引后，清空增量索引，到底怎么个清空法是个问题，开始的想法是直接删除增量索引文件，删除后加–rotate，更新增量索引会出错，出错信息好像是没有增量索引的文件吧。后来听神仙说，要去掉–rotate，没有出错，可是后面的每分钟更新增量索引会有问题，看了一下索引文件，只要加了–rotate的，生成的增量索引文件是delta_new.*，这样，虽然增量索引更新成功，却搜索不要更新的记录。如果不加–rotate，索引文件正常，但是依旧搜索不到新记录。后来不知怎的一想，不用删除索引文件，因为前面的maxid值已经改变了，直接更新增量索引不也可以么，试了一下，果然。

下面整个的贴一下代码。

1、首先是建立索引
/usr/local/coreseek/bin/indexer –all –config /data/coreseek/conf/post.conf

2、启动守护进程
/usr/local/coreseek/bin/searchd –config /data/coreseek/conf/post.conf

3、+记录

4、更新增量索引，这个写在脚本里，因为需要每分钟更新。
文件名：/data/coreseek/sh/build_delta_index.sh
内容：/usr/local/coreseek/bin/indexer post_delta –config /data/coreseek/conf/post.conf –rotate

5、合并索引，这个也要写在脚本里，每天合并一次
文件名：/data/coreseek/sh/build_main_index.sh
内容：/usr/local/coreseek/bin/indexer –merge post_main post_delta –rotate –config /data/coreseek/conf/post.conf  //合并索引
/usr/local/mysql/bin/mysql -hhostname -uusername -ppassword -Ddbname -e ‘REPLACE INTO sph_counter SELECT 1, MAX(PostId) FROM Post’ //更改maxid
/usr/local/coreseek/bin/indexer post_delta –config /data/coreseek/conf/post.conf –rotate >>/var/log/coreseek/deltaindexlog //重建增量索引

再贴下crontab规则
*/1 * * * * /bin/sh /data/coreseek/sh/build_delta_index.sh
30 1 * * * /bin/sh /data/coreseek/sh/build_main_index.sh
这个基本上是没有问题了，冏，要是再有问题，我真不想碰了。

昨天跟今天的其他时间应该是在写demo吧，= =，不想自己写页面，直接从coreseek.cn上扒下来的，居然是table，现在基本实现的功能，高亮这块还要做一下，真想说，sphinx真是个BT！搜索结果只返回id，BuildExcerpts这个用来产生文档片段的方法，我就更不说啥了。刚看文档看到UpdateAttributes，我居然还没处理，冏啊冏。

这两天差不多都干这些了。文档还木有写，木时间了，分词的话，只能用词库了。

先说说今天弄coreseek分词以及建立主索引跟增量索引的情况。

上次装coreseek好像没提到安装词库。

今天依旧用的mysql数据源，不过换了个数据库，用了那个日志表，省得自己造记录。

配置文件，生成的索引，log，词典，以及后面自动建立索引要用到的脚本，放的位置太乱了，所以今天统一了一下。

#mkdir -p /data/coreseek

然后在coreseek目录下建立conf,index,log,dict,sh目录。

首先生成词典，就是将源码包中的文本文件，mmseg后生成词典文件uni.lib，然后在配置文件中将词典文件的路径指向这里就行了。

[root@localhost ~]# cd /data/coreseek/dict/

[root@localhost dict]# cp /opt/mmseg-3.1/data/unigram.txt /data/coreseek/dict/

[root@localhost dict]# /usr/local/mmseg/bin/mmseg -u unigram.txt

[root@localhost dict]# mv unigram.txt.uni  uni.lib

下面是配置文件

/data/coreseek/conf/post.conf

#
# Minimal Sphinx configuration sample (clean, simple, functional)
#

source post_main
{
type   = mysql

sql_host  = hostname
sql_user  = userame
sql_pass  = password
sql_db   = Post
sql_port  = 3306 # optional, default is 3306

sql_query_pre  = SET NAMES utf8
sql_query_pre  = REPLACE INTO sph_counter SELECT 1, MAX(PostId) FROM Post

sql_query  = \
SELECT PostId, UserId, PostCateId, Title, Content, UNIX_TIMESTAMP(PubTime) AS PubTime \
FROM Post \
WHERE PostId <= (SELECT max_doc_id FROM sph_counter WHERE counter_id = 1)

sql_attr_uint  = UserId
sql_attr_uint  = PostCateId
sql_attr_timestamp = PubTime

}
source post_delta:post_main
{
sql_query_pre  = SET NAMES utf8
sql_query  = \
SELECT PostId, UserId, PostCateId, Title, Content, UNIX_TIMESTAMP(PubTime) AS PubTime \
FROM Post \
WHERE PostId > (SELECT max_doc_id FROM sph_counter WHERE counter_id = 1)
}

index post_main
{
source     = post_main
path     = /data/coreseek/index/post_main
docinfo     = extern
charset_type    = zh_cn.utf-8
charset_dictpath   = /data/coreseek/dict
}

index post_delta:post_main
{
source     = post_delta
path     = /data/coreseek/index/post_delta
}

indexer
{
mem_limit    = 32M
}

searchd
{
log     = /data/coreseek/log/searchd.log
query_log    = /data/coreseek/log/query.log
read_timeout    = 5
max_children    = 30
pid_file    = /data/coreseek/log/searchd.pid
max_matches    = 1000
seamless_rotate    = 1
preopen_indexes    = 0
unlink_old    = 1
}

建立索引，说下索引建立与更新机制吧。增量索引定时更新，比如我这里是1分钟建立一次，查询的时候，同时从两个索引中查询。然后凌晨的时候重建一次索引，所有记录会被添加到主索引，增量索引也会被清空v，这个可以看我后面的测试用例。【刚刚龙兄问我为什么不是合并，后来我想也是，用到这个的，一般数据量不会小，合并索引相对重建更高效一些，不过合并的话，增量索引是如何处理的呢？这个，明天再来解决。】

#/usr/local/coreseek/bin/indexer –config /data/coreseek/conf/post.conf –all

#/usr/local/coreseek/bin/searchd –config /data/coreseek/conf/post.conf

#/usr/local/coreseek/bin/search -q –config /data/coreseek/conf/post.conf

上面这个可以查看到索引，嘿嘿，这是神仙告诉我的。

在这里我还碰到了一个问题，cannot open /data/coreseek/dict/mmseg.ini
解决办法
vi /data/coreseek/dict/mmseg.ini，输入下面内容
[mmseg]
merge_number_and_ascii=1;
number_and_ascii_joint=-;
compress_space=0;
seperate_number_ascii=1;

以上解释如下

/*
merge_number_and_ascii: 字母和数字连续出现是非切分
number_and_ascii_joint:连接数字和字母可用的符号，如’-’ ‘.’ 等
compress_space：暂时无效
seperate_number_ascii：是否拆分数字，如 1988 -> 1/x 9/x 8/x 8/x
*/

这个在网上随处可见，但是，很多人是开启守护进程searchd出现问题，我倒是在search时出现了问题。

下面写更新索引的脚本，先是增量索引:

#vi /data/coreseek/sh/build_delta_index.sh

#!/bin/sh
/usr/local/coreseek/bin/indexer post_delta –config /data/coreseek/conf/post.conf –rotate >> /var/log/coreseek/deltaindexlog

更新增量索引，加上–rotate，不用停止守护进程更新索引。

更新索引:

#!/bin/sh
/usr/local/coreseek/bin/indexer –rotate –all –config /data/coreseek/conf/post.conf >> /var/log/coreseek/mainindexlog

下面建立crontab规则定时更新索引。

#service crond start

#crontab -e

*/1 * * * * /bin/sh /data/coreseek/sh/build_delta_index.sh > /dev/null
0 0 * * * /bin/sh /data/coreseek/sh/build_main_index.sh > /dev/null

下面是简单的测试用例，用了api

<?php
header(“Content-type:text/html;charset=utf-8″);
include ’sphinxapi.php’;
$s = new SphinxClient();
$s->SetServer(‘localhost’, 3312);
$r = $s->Query(‘日记’,'post_main, post_delta’);
echo ‘<pre>’;
if($r)
print_r($r);
else
echo $s->GetLastError();

?>

在浏览器中打开，显示查询到的数据。然后添加记录，记录中包括“日记”，一分钟之内，将会看到增加的记录。

说说昨天跟今天，让我有些无奈的两件事吧。

昨天的测试用例，加入中文后，中文依旧没有搜索出来，今天用search -q查看，也只有四条索引，建立索引时明明看到 6 docs，后来在看配置文件时发现，sql_query_pre=utf8，前面的注释没有去掉。粗心啊粗心。

今天的crontab更是让我崩溃啊，开始service crond start木有此服务，问了好几个师傅都木有答案，后来问了系统GG，yum -y install vixie-cron，安装好了，后来写好规则，几分钟过去了，增量索引却死活不见更新，俺找了很多原因，一一排除，最后想想，难道是服务没开？service crond start。。。成功，无语啊无语，面壁去。

再说个事儿，今天在公司，secureCRT死活不能输入中文，我明明记得在家可以输入的，相关配置也应该基本一致，可就是不行。后来神仙师傅让我试试智能ABC行不行，居然可以，万恶的万能五笔，继续无语。

===========================华丽的分割线=======================

昨天主要是在虚拟机下折腾mysql吧。

因为折腾coreseek的全文检索测试中文，原有的数据是木有中文的，后来就想直接数据库里插入数据，= =不过命令行MS对中文支持不是很好，后来就想还是通过navicat来操作吧。

连接，填入主机名，用户名，密码，确定。

Host **** is not allowed to connect to this MySQL server

google之，原来是root不支持远程登录。

于是在虚拟机下进入mysql，添加帐户

grant all on *.* to ‘erika’@'%’ identified by password

重新用navicat连接，成功。

打开表，直接加一行中文记录，刷新，中文全变成了???

查看表信息，居然是latin1，应该是建表时木有指定编码造成的。

改编码：

mysql> alter table documents charset=utf8;

再加入中文记录，正常显示。

后来想想不能每次建表都这么指定编码吧，= =，可是虚拟机上的mysql居然是木有my.cnf的。这问题昨晚木有解决。今天早上幸亏炽天使童鞋帮忙，终于解决鸟。

#cp /usr/local/mysql/share/mysql/my-medium.cnf /etc/my.cnf

#vi /etc/my.cnf

在[client]跟[mysqld]下分别加上default-character-set=utf8

重启mysql

#/usr/local/mysql/bin/mysqladmin -uuser -ppassword shutdown

#/usr/local/mysql/bin/mysqld_safe &

这下好了，不要每次都要指定编码了。

为嘛每次写就写了这么点，做起来总是耗费很多时间捏，这是一个问题。

上面是手册上的话，说到底，coreseek就是支持中文分词的sphinx吧，= =个人理解。

= =今天折腾一天这东西，也只能才算是安装好。

先说下环境

centos5.2

php5.2.6+mysql5.0.67+nginx/0.7.14

安装目录分别是/usr/local/php,/usr/local/mysql,/usr/local/nginx

下面说说安装coreseek

手册：sphinx_doc_zhcn_0.9.pdf

使用的是源码安装

下载安装mmseg

再抄一段手册的话介绍一下mmseg吧

LibMMSeg 是Coreseek.com为 Sphinx 全文搜索引擎设计的中文分词软件包，其在GPL协议下发行的中文分词法，采用Chih-Hao Tsai的MMSEG算法。

LibMMSeg 采用C++开发，同时支持Linux平台和Windows平台，切分速度大约在300K/s（PM-1.2G）。

[root@localhost ~]#cd /opt

[root@localhost opt]#wget http://www.coreseek.cn/uploads/csft/3.1/Source/mmseg-3.1.tar.gz

[root@localhost opt]# tar zxvf mmseg-3.1.tar.gz

[root@localhost opt]#cd mmseg-3.1

[root@localhost mmseg-3.1]#./configure –with-prefix=/usr/local/mmseg

[root@localhost mmseg-3.1]#make && make install && make clean

[root@localhost mmseg-3.1]#cd ../

看别人的安装过程有些出问题了，还好我的没出问题。嘎嘎

下载安装Coreseek Fulltext Server(csft)

因为木用过python，所以木有考虑用python做数据源，自然也木有安装。

[root@localhost opt]#wget http://www.coreseek.cn/uploads/csft/3.1/Source/csft-3.1.tar.gz

[root@localhost opt]# tar zxvf csft-3.1.tar.gz

[root@localhost opt]# cd csft-3.1

[root@localhost csft-3.1]#./configure –prefix=/usr/local/coreseek –with-mysql –with-mmseg=/usr/local/mmseg –with-mmseg-includes=/usr/local/mmseg/include/mmseg –with-mmseg-libs=/usr/local/mmseg/lib/

这个是我的配置，在别人那看到的是木有–with-mmseg=/usr/local/mmseg的，但是我的会出问题，后来加了这句就好了，不要问为什么，因为我也不知道。

接下来的编译可出了不少问题，我是在coreseek.cn社区里看到有个版主的配置，跟着做了，结果就木问题了。不过他有安装python。嘎嘎。

原帖地址：http://www.coreseek.cn/forum/index.php?action=vthread&forum=2&topic=152

=========================华丽的分割线=============================