CM検出

[kounoike]

CM検出を自作してみたい

• 音声のマッチングを手掛かりにする

• 👆の関係で録画直後には完全ではない？

• 結局他の方法とも組み合わせる必要はあると思う

• 無音区間の検出

  • pydubのdetect_silenceなど

• シーンチェンジの検出

  • opencvとか？
    • インターレースでぐちゃっとなる場合
    • 前のフレームと次のフレームで全然違う場合
    • 白とか黒とか単色になって繋がっちゃってる場合

• 音声マッチングの方法

  • 特徴量で粗サーチ
    • panns-inferenceで2048次元の特徴量ベクトルが得られる
    • qdrant あたりでベクトルデータベースのコサイン類似度検索が出来るっぽい
  • 候補が絞られたら正規化相互相関とか？
    • 元音源を取っておく必要があるが、そんな音質良くなくても良さそう
    • facebookresearch/encodecあたりで保存して良さそう

AACのデコードがx30くらいと割と時間かかる。リサンプリングは大して時間かからないので、文字起こしとwavは共通で使った方が良さそう