GREEN SCREEN / WHITE WALL
Synthetic Data
グリーンバックや白壁で撮影した自分のギターから切り抜き素材を作り、様々な背景へ合成しています。
DATASET
データを自分で作る。
REAL VIDEO + SAM3
Real Data + SAM3
実際の演奏・撮影環境の動画についても、SAM3を補助に使いながら教師データを作成しています。
COMPUTER VISION / SEGMENTATION
Guitar AI
自分のギターだけを、
高精度かつ高速に切り抜く。
In Development
LATEST ARTICLE
RealにSyntheticを25%混ぜた。
Real1,868枚にSynthetic positive 623枚を加えたSYN25を検証。Hard Val 683ではIoU 0.6249、BF1@2 0.6127、Final Playing corrected180ではIoU 0.8322まで改善しました。
OVERVIEW
なぜ専用AIを作るのか。
動画からギターだけを高精度に切り抜くことを目的として、ギターに特化したセグメンテーションモデルを開発しています。
汎用的な画像セグメンテーションモデルでも正面方向では良好な結果が得られますが、ネック、細い弦、側面、光沢や反射などではマスクが不安定になる場合があります。
そこで、データ収集からラベル生成、学習、評価、軽量化まで含めて独自に検証しています。
APPROACH
いくつもの方法を比較する。
01
Synthetic Data
撮影素材を様々な背景へ合成。
02
Pretrained Models
事前学習済み表現とFine-tuningを比較。
03
Multi-scale
細いネックや境界を残す構成を検証。
04
Hard-case Data
失敗条件そのものを学習データへ追加。
CURRENT RESULTS
モデルだけでなく、データで改善する。
0.832Final Playing IoU
0.907Dice
0.843BF1@2
180Corrected Final Frames
現在のSYN25条件を、正式なFinal Playing corrected180で評価した値です。
NEXT
切り抜くことの先へ。
手・腕・長袖との接触境界をさらに改善しながら、MediaPipe Handsとの統合やリアルタイム化を進めます。