COMPUTER VISION / SEGMENTATION

Guitar AI

自分のギターだけを、
高精度かつ高速に切り抜く。

In Development

DEMO VIDEO / IMAGE

OVERVIEW

なぜ専用AIを作るのか。

動画からギターだけを高精度に切り抜くことを目的として、ギターに特化したセグメンテーションモデルを開発しています。

汎用的な画像セグメンテーションモデルでも正面方向では良好な結果が得られますが、ネック、細い弦、側面、光沢や反射などではマスクが不安定になる場合があります。

そこで、データ収集からラベル生成、学習、評価、軽量化まで含めて独自に検証しています。

DATASET

GREEN SCREEN

自分のギターをグリーンバック環境で様々な方向から撮影し、背景合成用の素材を作成しています。

REAL VIDEO

実際の演奏・撮影環境の動画についても、 SAM3などを利用して教師データを作成しています。

APPROACH

グリーンバック素材を様々な背景へ合成。

ギター専用の軽量モデルや独自構成を検証。

事前学習済みモデルとの比較・Fine-tuning。

現在、有力な候補として検証を進めています。

RESULTS

—IoU

—Dice

—BF1

—FPS

最終モデル確定後に定量評価を掲載します。

精度評価、実動画への汎化性能、軽量化、 ONNX化やリアルタイム推論まで検証を進めます。