MeiliSearch設定されたサーバーの検索で外部サーバーの投稿が結果に出ない場合がある

[tkmrgit]

💡 Summary

MeiliSearch設定されたサーバーの検索で外部サーバーの投稿が結果に出てこないワード？がある

🥰 Expected Behavior

外部サーバーの投稿を含めた結果が返される

🤬 Actual Behavior

外部サーバーの投稿が含まれていない結果が返される

📝 Steps to Reproduce

1.ioで「Misskey」または「Misskey しゅいろ」と検索
2.「Misskey」の場合は外部サーバーが出てくるが、「Misskey しゅいろ」の場合に出てこない

📌 Environment

Misskey version:13.12.2

[syuilo]

ioは昔の投稿についてはローカルしか取り込まなかったはず

[tkmrgit]

ioのインデックスが原因か。
しかしMeiliSearchだと何か以前にも増して元の投稿の文に近いワードじゃないとヒットしないわね

もし別の原因あったらreopenしてください

[syuilo]

以前というと？

[syuilo]

ElasticSearch時代のことなのかPostgreSQL時代のことなのか

[syuilo]

PostgreSQLの方は単純な部分一致検索なのでMeilisearchよりも精度という意味では高い

[tkmrgit]

以前というと？

DB検索だった頃と比べて極端にヒットが少ない。p1.a9z.dev(未導入?)で「Misskey しゅいろ」検索すると他にもいろんなioを含む投稿がヒットするが、ioだと直近でも3ヶ月前だったりしにゃい

[syuilo]

「しゅいろさん」とかが含まれる文章はMeilisearchでは「しゅいろ」ではヒットしないわね

[syuilo]

形態素解析の限界そう

[tkmrgit]

😭

[tamaina]

p1.a9z.devはPGroongaなんだけど、（日本語では）PGroongaのほうがいいらしい？

[miiton]

いきなり失礼します。Twitterで見かけて気になったのでコメントしにきました。

しゅいろ という文字列が、 し と ゅいろ に分割されてしまうので起きる問題かなと推察します。

Ref: https://www.atilika.com/ja/kuromoji/

実際に手元でやってみたところ結果は返ってはくるのですが、やはり し と ゅいろ に分かれてしまうので、ランキング的に下の方に行ってしまっているのかも？（ MeiliSearch v1.1.1 です）

TypoToleranceを今は無効にしておられる のでそれを有効にしたらまた違った結果が返ってくるかもしれません（手元の少ないデータでは違いは無かったです）

ちなみに manticore search だと綺麗にヒットしました。

（追記）manticore-searchが単純にハイライト部分をマージして結果を出しているだけかもしれないのでこの部分は訂正します。すいません。

MeiliSearchの改善ポイントかなと思いますので、時間作ってIssue立ててみます。

[syuilo]

@miiton

しゅいろ という文字列が、 し と ゅいろ に分割されてしまうので起きる問題かなと推察します。
Ref: https://www.atilika.com/ja/kuromoji/

Meilisearchは内部的に日本語の形態素解析にkuromojiを使用している感じですかね？そういうわけではない？

MeiliSearchの改善ポイントかなと思いますので、時間作ってIssue立ててみます。

ありがとうございます！！！

[acid-chicken]

Meilisearchは内部的に日本語の形態素解析にkuromojiを使用している感じですかね？そういうわけではない？

kuromoji をベースに開発された kuromoji-rs の fork である lindera を使用している

[miiton]

本件、もしかして冒頭に書いていただいている Misskey しゅいろ みたいに 英単語 + にほんご が駄目っぽいですかね？
しゅいろ だと検索できますよね？

[tamaina]

わかる

（しゅいろで検索できてMisskeyと検索すると出てこないのは少々おかしい）

[u1-liquid]

ちなみにCJK対応に関してちょっと問題があるので使うMeilliSearchのバージョンはこっちにした方がいいです

meilisearch/meilisearch#3588

[miiton]

ちなみにCJK対応に関してちょっと問題があるので使うMeilliSearchのバージョンはこっちにした方がいいです

はい、検索が日本語と英単語だけならそれが良いと思います。中国や台湾のユーザーさんも視野に入れるならちょっと考えたほうがいいかもしれません。（中国語対応を外して日本語強制しているバージョンなので）

---

英単語 + 日本語で問題無い文字列と問題がある文字列があるみたいなので、いくつかパターン出してバグ報告してきます

[miiton]

いくつかパターンを書いてみて試したのですが、結局 英語+ 日本語 とかではなく

• しゅいろ という文字列が、 し と ゅいろ に分割されてしまう
• Ranking Rulesのwords rule によって、複数ある検索ワードのうち最初のキーワードが結果に優先される

のあわせ技によって検索結果がおもてたんとちゃうになっているようです。（二転三転しました 🙇 ）

要は固有名詞（Misskeyの場合はユーザーのお名前など）を適切に扱えるようになれば良いと思いますので、日本語対応のスレッドにて確認中です。
meilisearch/product#532 (comment)

（良い例文がぱっと思い浮かばなくて、しゅいろさんをたくさん出してしまいました）