php 利用scws实现mysql全文搜索功能

时间：2015-01-23 来源：西部数据作者：西部数据

scws这样的中文分词插件比较不错,简单的学习了一下,它包涵一些专有名称、人名、地名、数字年代等规则集合,可以直接将语句按这些规则分开成一个一个关键词,准确率在90%-95%之间,按照安装说明把scws的扩展放入php的扩展目录里,下载规则文件和词典文件,并在php配置文件中引用它们,就可以用scws进行分词了.

1) 修改 php 扩展代码以兼容支持 php 5.4.x

2) 修正 php 扩展中 scws_get_tops 的 limit 参数不允许少于 10 的问题

3) libscws 增加 scws_fork() 从既有的 scws 实例产生分支并共享词典/规则集,主要用于多线程开发.

4) 新增部分版本的 win32 的 dll 扩展

PHP实例代码如下:

<?php

//实例化分词插件核心类

$so = scws_new();

//设置分词时所用编码

$so->set_charset(‘utf-8’);

//设置分词所用词典(此处使用utf8的词典)

$so->set_dict('/path/dict.utf8.xdb');

//设置分词所用规则

$so->set_rule('/path/rules.utf8.ini ');

//分词前去掉标点符号

$so->set_ignore(true);

//是否复式分割，如“中国人”返回“中国＋人＋中国人”三个词。

$so->set_multi(true);

//设定将文字自动以二字分词法聚合

$so->set_duality(true);

//开源代码phpfensi.com

//要进行分词的语句

$so->send_text(“欢迎来到火星时代IT开发”);

//获取分词结果，如果提取高频词用get_tops方法

while ($tmp = $so->get_result())

{

print_r($tmp);

}

$so->close();

?>