将棋の棋譜を動画から記録する

しばらく将棋から離れていたが藤井四段（当時）の影響でまた指すようになった。 改めて将棋の楽しさを知ったのです。

将棋中継を見ていて思うのが記録係の大変さ。 トッププロの対局を間近で見られるとはいえ、トイレも自由に行けず睡魔とも戦い、大変な仕事です。

これは何とか自動化できないかなと思った次第です。 天井カメラで動画撮影しているので実現可能だと思う。もしかしたら既にあるのかもしれない。

■準備

• それぞれの駒を画像を集める。
• 将棋の駒は書体があるので、それぞれの書体の画像が必要。 さらに1文字駒と2文字駒もある。例）「玉」「玉将」

■モデル作成

• 駒の画像を元に、これは「歩」ですよ、「飛」ですよという教師データを作成する。
• 学習モデルはSSD（Single Shot Multibox Detector）にする。

■実行

• カメラからフレームごとの画像をInputデータとする。
• その画像から駒の種類と位置を判定する。
• 位置から駒の配置を判定する。「3四歩」とか。
• 配置の差分からKIF形式のデータにする

こんな流れだと思う。KIF形式データにすれば将棋ソフトに渡すことで、その時点の最善手とかも出させると思う。 ※天井カメラがなくてもスマホを固定して撮影すればできそうだが、角度の調整が大変そう。。 仕事の合間にプロトタイプを作ってみようと思います。

[追記] まずは自宅の駒を並べてiPhoneで撮影し、ラベリングを行い、SSD作成。テスト画像で判定させてみた結果。