3.6 LLM を用いたトピック分類とアイテム類似性ラベリング

アイテム、特徴、ラベル

アイテム $i$ は作品またはシリーズを表す。特徴量 $\mathbf{x}_i$ は、その作品について既知の情報であり、タイトル、説明文、ジャンル、人物、ムード、映像特徴などから作る。ラベル $y_i$ または $y_{a,b}$ は、人間または規則が定めた判定結果である。

トピック分類は $\mathbf{x}_i\rightarrow y_i$ を作る問題である。類似性ラベリングは $(\mathbf{x}_a,\mathbf{x}_b)\rightarrow y_{a,b}$ を作る問題である。後者は「作品 A が好きなら B を推薦する」と直接等しくはない。ユーザー文脈をまだ含まない、作品どうしの関係を作る処理である。

embedding と LLM の役割

embedding は、作品説明などを固定長ベクトル $\mathbf{e}_i$ へ変換した表現である。ベクトル間の cosine 類似度を使うと、非常に多い作品から近い候補を高速に探せる。LLM は、二つの作品カードを読んで「今回定義した類似軸では似ているか」と理由付きで判定する。

この章の中心は、embedding で広く候補を集め、LLM と人手で狭く深く判定する役割分担である。

候補生成・類似性・パーソナライズを区別する

「似ている」という言葉は、少なくとも三つの意味を持つ。

内容類似は、後二者に役立つ一つの信号である。しかし、パーソナライズには視聴履歴、既視聴、配信可否、時間帯、同一シリーズの視聴順など、作品ペアだけでは分からない情報が必要である。この区別を保つと、図 3.5 の類似度を視聴確率と誤解しない。

2.1 ニュースのフォルダ名は分類タスクの便宜上の正解である

BBC の例で用いられるフォルダ名は、学習・評価のための参照ラベルとして有用である。しかし、記事の全ての意味を表す絶対的な真実ではない。ドルトムントの財政危機を「スポーツ」と見るか「ビジネス」と見るか、HP のインク訴訟を「技術」と見るか「ビジネス」と見るかは、分類体系が何を主題と定義するかに依存する。

この種の誤りは、LLM が文章を読めないからだけで起きるのではない。ラベル体系の境界が曖昧で、元データのカテゴリが記事の複数の側面の一つだけを採用しているためでもある。したがって、二つの LLM の一致率が高いことは、二つのモデルが同じ分類を返しやすいことを示すが、正しい分類を保証しない。

二つの単一ラベル分類器 A、B の一致率は次のように書ける。

ここで高い一致率が示すのは再現性の一側面である。両者が同じ曖昧なガイドラインを同じように誤読すれば、一致率は高くなり得る。参照ラベルに対する精度、人手アノテータ間の一致、誤りの内訳を併せて見る必要がある。

2.2 動画では多ラベル・階層ラベルが自然である

動画作品を単一の genre だけへ押し込むと、推薦に必要な情報を失う。例えば一作品は「海外ドラマ」「犯罪」「サスペンス」「政治」「重厚」「陰鬱」と同時に表せる。ここで「海外ドラマ」はメディアや大分類、「犯罪」は題材、「サスペンス」は物語形式、「重厚」はトーンであり、同じ軸の排他的なラベルではない。

実務では、ラベル体系を少なくとも次のように分けると混乱が減る。

item_information_table の genre 、 sub_genre 、 sockets_tag 、 avg_mood_tag は、この体系の一部として利用できる。LLM が新ラベルを出す場合も、既存列を黙って上書きせず、 llm_label_version 、 prompt_version 、 model_version 、 confidence 、 review_status を持つ別テーブルへ保存するのが安全である。

2.3 多ラベル分類の評価

単一ラベルの Accuracy は、多ラベル分類には不十分である。正解集合を $Y_i$ 、予測集合を $\hat Y_i$ とすると、作品 $i$ ごとの Jaccard 類似度は次である。

例えば正解が $Y_i=\{\text{SF},\text{サスペンス}\}$ 、予測が $\hat Y_i=\{\text{SF},\text{ドラマ}\}$ なら、共通ラベルは一つ、和集合は三つなので $J_i=1/3$ である。完全一致ではないが、全て誤りとも言えない。

ラベルごとの Precision、Recall、F1 を macro 平均と micro 平均の両方で報告するべきである。macro F1 は少数ラベルも一票として扱うため、人気ジャンルだけで良い成績に見せることを防ぐ。micro F1 は全ラベル判定をまとめて扱うため、全体の処理量に近い性能を表す。どちらか一方だけでは、希少な題材や安全ラベルの品質を判断しにくい。

4.1 図が示していること

図 3.5 の各点は一組の記事ペアである。縦軸は embedding の cosine 類似度、横軸は LLM が返した二値ラベルである。表示上の横方向のばらつきは、同じ 0 または 1 の点が重ならないようにする jitter であり、連続的な値を意味しない。

この標本では、ラベル 1 の点は平均的にラベル 0 より高い cosine 類似度側へ分布している。従って embedding 類似度は、LLM が「類似」と判定するペアを候補として集めるフィルタとして役に立つ。一方、 $0.7$ から $0.89$ 付近にはラベル 0 と 1 が大きく重なっている。この範囲では、cosine の閾値だけで LLM 判定を置き換えられない。

図の標本で「 $0.9$ 超のペアは全て類似」と観測されたとしても、これは標本内の経験則であり、普遍的な閾値ではない。embedding モデル、正規化、入力テキストの長さ、候補抽出方法、LLM の類似性定義、コンテンツ言語が変われば分布は変わる。また $0.9$ 超の点数が少なければ、偶然に全て正例だった可能性もある。運用で $0.9$ を自動採用の境界にするには、独立の検証セットと人手監査で、その領域の Precision と件数を確認する必要がある。

4.2 AUC = 0.7 の意味

cosine 類似度 $s$ だけをスコアとして、LLM ラベル $y\in\{0,1\}$ を予測した ROC-AUC は、次の確率として解釈できる。

ここで $s^+$ はランダムに選んだ類似ペアのスコア、 $s^-$ はランダムに選んだ非類似ペアのスコアである。同点処理を除けば、AUC $=0.7$ は「ランダムな正例・負例の一組を比べたとき、正例の方が高い cosine 類似度を持つ確率が約 70%」という意味である。

これは次の意味ではない。

• 類似度が 0.7 のペアが 70% の確率で類似する、という意味ではない。

• LLM のラベルが 70% 正しい、という意味ではない。

• 閾値をどこに置いても 70% の精度になる、という意味ではない。

AUC が 0.5 ならランダム順位と同程度、 1.0 なら全正例を全負例より上に置ける。 0.7 は候補の優先順位付けには有用だが、二値判定を完全に代替するには重なりが大きい、という中程度の分離能力である。

なお、この AUC の正解ラベルは LLM 出力である。従って測っているのは「embedding 類似度が LLM 判定をどれだけ順位付けできるか」であり、「embedding が真の同一トピックをどれだけ判別できるか」ではない。後者を主張するには、LLM と独立に作成した人手ラベルまたは信頼できる外部正解が必要である。

4.3 ROC-AUC だけでは運用を決められない

似ているペアが全体の少数である場合、ROC-AUC は良く見えても、上位候補に誤検出が多いことがある。類似作品棚の自動生成では、正例の取りこぼしよりも誤って似ていない作品を並べるコストが高いことが多い。この場合は Precision-Recall 曲線、 Precision@K、 Recall@K、閾値ごとの件数を確認する。

閾値 $\tau$ で自動採用するルールを考える。

Precision と Recall は次の通りである。

高い $\tau$ は、自動採用するペアを減らして Precision を上げやすいが、Recall を下げる。低い $\tau$ は候補を広く拾うが、誤検出を増やす。LLM を後段に置くなら、候補生成の閾値は Recall を重視してやや低めにし、LLM・ルール・人手で Precision を上げる設計が一般的である。

6.1 作品カードを標準化する

同じ作品について、呼び出しごとに異なる情報量を渡すとラベルが不安定になる。入力はカタログのスナップショットから再現可能に作る。

作品 A
- series_id: 500001745
- タイトル: ...
- media_type: movie
- genre / sub_genre: 洋画 / SF
- あらすじ: ...
- タグ: ...
- 出演者・監督: ...
- ムード: emotional=0.97, intense=0.90, thought-provoking=0.97
- 利用条件: SVOD、現在視聴可能

このカードに個人情報や、判定に不要な生ログを混ぜない。 avg_mood_tag や avg_fingerprint は外部 AI による推定で、全作品に存在するとは限らない。欠損を「ムードがない」と読ませず、 not_available と明示する。

6.2 類似性 prompt は軸・除外規則・出力を固定する

「この二作品は似ていますか」という prompt は曖昧すぎる。例えば内容類似のラベルを作るなら、シリーズ関係や同一出演者だけを根拠に類似としないか、視聴順の前提をどう扱うかを指定する。

目的: 「初めて見る人へ内容が近い代替候補として提示できるか」を判定する。
判定基準:
- 題材、物語の前提、トーン、想定視聴者を総合して判定する。
- 同一出演者、同じジャンル、同一シリーズだけでは Similar にしない。
- 続編で前作の視聴を強く前提とする場合は Not Similar とする。
- 入力にない事実を推測しない。
出力 JSON:
{
  "content_similarity": 0 | 1 | 2 | 3,
  "substitutable": true | false,
  "evidence": ["入力にある根拠"],
  "uncertain": true | false
}

二値だけでなく 0 から 3 の段階関連度を持たせると、閾値の調整、異なる用途への展開、人手レビューの優先順位付けがしやすい。例えば 3 を自動棚候補、 2 をランカー特徴、 0 と 1 を hard negative 候補、 uncertain=true を人手レビュー候補にできる。

6.3 順序バイアスと自己矛盾を検査する

ペア判定では、作品 A と B の提示順が結果に影響し得る。全件を二回呼ぶ必要はないが、人手監査用の標本では $(A,B)$ と $(B,A)$ を両方判定し、対称性を確認するべきである。

ここで $\ell$ は類似ラベルである。低い対称性は、prompt の曖昧さ、説明文長の偏り、出力の不安定性を示す。モデル名、モデル版、prompt 版、温度、入力カード版、呼び出し日時を保存しなければ、この種の問題を再現できない。

7.1 類似作品棚

「この作品に似た作品」棚では、まず作品 embedding と ANN index で上位候補を取得する。その後、すでに視聴済み、視聴不可、ブラックリスト、年齢制約違反、同じシリーズの過剰重複を除外する。LLM 類似ラベルは、候補の再順位付け、低品質候補の除外、説明文生成の監査に使える。

ここで最終順位を cosine 類似度だけで決めない。説明文 embedding の cosine、 avg_fingerprint の近さ、ジャンル一致、シリーズ関係、ラベルの確信度、人気・鮮度、そして棚の多様性を組み合わせる。どの情報を重視するかは、棚が「同じ作品を探す」のか「次に見たい代替候補を探す」のかで異なる。

7.2 embedding モデルの評価セット

人手校正済みのペアラベルは、embedding モデルの良し悪しを測る評価セットになる。内容類似を $0$ から $3$ の順序ラベル $r_{a,b}$ としたとき、cosine 類似度 $s_{a,b}$ との単調な整合性は Spearman の順位相関で確認できる。

ただし、相関が高いだけでは推薦が良いと結論付けられない。ジャンル完全一致、人物一致、既存の avg_fingerprint 、別の text embedding をベースラインに置き、同一のペア評価セットで比較する。さらに候補生成 Recall、最終ランカーの時系列評価、オンライン実験まで見る必要がある。

7.3 ランカーの補助特徴

LLM ラベルをユーザーごとにオンライン生成するのは、遅延とコストの面で適さないことが多い。代わりに、作品ペアのオフラインラベルを保存し、ユーザーが最近視聴した作品集合 $H_u$ と候補 $i$ の関係を集約して特徴量にする。

これは「最近視聴した作品のうち、候補に最も内容が近いものの LLM 類似度」である。最大値だけでなく、上位数件の平均、最近性で重み付けした和、類似した履歴作品数も候補になる。ただし LLM ラベルはユーザーの将来視聴を直接表すものではないので、視聴開始・25% 視聴・完走などを学習するランカーの一特徴として扱うべきである。