Adsense

Donate

主页 arrow 更新一览 arrow 索引创建好像成功了
索引创建好像成功了
 之所以说"好像",是因为检索模块还没有实装,今天刚刚测试了创建索引,索引文件已经生成了……内容貌似正确……原先各个模块都是分开单独开发,单独测试 的,引擎模块最早没有考虑过Unicode的模式,所以分词的时候企图对UTF8编码的多国语言混合字符串分词总是失败,其实完全可以倒过来, IFilter抽取的UTF16编码字符串直接分词,然后存储。这样就可以以文字为单位取得token流了,现在简单的区分了中文汉字等宽字符与英文单词 的分词,还有数字,全角数字等一些特殊处理没有做,放到Todo里拉。同义词,名字等暂时不考虑吧。浪费脑细胞无数~~~~~
 
< Prev   Next >
© 2017 Minidx文件管理系统 | Minidx全文搜索引擎
Minidx! is a professional file management system.