FAQの検索精度ってなんですか?

ユーザーが、FAQを見つけられる率です。

簡潔な説明は上記のとおり。
詳細な説明は下記です。

『FAQサイトやFAQシステムでユーザーが検索したときに どれだけ適切、正確、かつ関連性の高い回答にたどり着けるかを示す指標で、単なる検索ヒット数ではなく、ユーザーが本当に知りたいことにたどり着ける率。』

しかし・・・。突っ込みどころがたくさんある説明だと思います。
検索精度(率)という「度合い」の説明に、適切、正確、関連性の高い、本当に知りたい、といった様々な「度合い」を入れ子にすると説明があいまいになるじゃないかと。

では計算式にしてはどうでしょうか。
FAQの検索精度(率)= FAQがクリックされた総数 ÷ FAQサイトのユーザーの検索行動の総数
この計算式を使うと、お使いのFAQ検索システムでもGoogle Analyticsでも、FAQ検索精度を簡単に導き出せます。

ところが! (ここからが重要です)
FAQ検索精度の定義はベンダーさんごとに違います。
上記の計算式と見解が異なることが多いのです。

見解が異なる原因は、冒頭の、詳細な説明が物語っています。
「適切」「正確」「関連性の高い」「本当に知りたい」といった度合いの見解がベンダーさんごとに異なるからだと思います。
ま、話を先に進めるために、いったんは良しとしておきましょう。

とはいえ、ベンダーさんは見解に応じた検索精度の計算式を持っているはずです。
検索率や検索精度を売り文句にしていることが多いからです。
もしあなたの会社がFAQ検索ツール(検索システム、AIチャットボット)の導入を検討中でしたら、候補ベンダーさんにFAQ検索精度の計算式を教えてもらうといいでしょう。

納得できる計算式が確立していることで、採用判断や安心材料にもなります。
また数値を使った計算式は、ロジカルなので関係者内での誤解を避けることができます。

たくさんのユーザーにFAQにたどり着いてもらいたいから、FAQの検索精度(率)は、高い方がいいです。それではどれぐらいの値なら、いいのでしょうか。
上記に示した計算式
FAQの検索精度(率)= FAQがクリックされた総数 ÷ FAQサイトで検索行動をした総数
だと計算上100%を超える場合もあります。

それでも100%に限りなく近い方がいいでしょう。
30%よりは100%の方がいいが、400%よりは100%の方がいい、という感じです。
30%より100%の方がいいというのは分かると思います。
400%よりは100%のほうがいいとはどういうことでしょうか。

こういうことです。
ユーザーの1回の検索行動(操作)で、一度にたくさんFAQが見つかることがあります。
するとユーザーはあれでもないこれでもないと、複数のFAQをクリックしまくる可能性があります。
上記の計算式の場合、検索精度(率)はどんどん上ることになります。

理想を言えばFAQの検索精度はユーザーが必要最小限の操作でFAQにたどり着ける率です。
ユーザーの最少減の検索操作により、高い確率でそのユーザーが求めるFAQがピンポイントで抽出されることが、真の検索精度だと言えます。

検索精度を上げるのは、検索ツールの機能しだいと思われがちです。
しかし実際は、FAQコンテンツの綿密な調整しだいです。
ほとんどのFAQ検索ツールは「テキストマイニング検索」や「カテゴリの絞り込み」など同じような検索のしくみを使っています。AIと銘打っているものも、多少あいまい検索や自然語検索(専門的には、セマンティック検索、ベクトル検索、RAGなど)ができますが、テキストとテキストの一致・近似・類似を探すという検索の内部的動作の原理はどれも同じです。

実は、いかなる検索ツールを使ってもあまり結果は変わりません。
検索精度を上げるには、検索される側のFAQコンテンツの綿密な調整やメンテナンスのほうが重要になってくるのです。
つまり検索にヒットするかどうかは、FAQのテキストの書き方しだいなのです。

ところで、クライアントさんから私への相談で「検索で関係ないものがヒットしてしまう」、「むやみにたくさんヒットしてしまう」というお悩みは多いです。
これは、FAQコンテンツのせいではありません。FAQ検索ツール側の調整の問題です。
「検索で関係ないものがヒットしてしまう」、「むやみにたくさんヒットしてしまう」を避けるためには、
・文字検索ではand検索をする
・「質問文」だけを検索する
というシステム調整をベンダーさんにご依頼ください。
そうしておかないとやっぱりFAQがやたら見つかってしまい、ユーザーがなかなか絞り込めなくなります。
検索精度については、重要ですし細かいことお話ししたいので別の機会でまた書きたいと思います。

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です