openFrameworksでPeopleOcclusionを実装する際の手順を記載します。
こちらにソースコードおいてます。以下はその解説などになります。
https://github.com/shiyuugohirao/oF_PeopleOcclusion_example
はじめに
PeopleOcclusionというのはAppleが開発したARKitに備わっている機能です。
2次元の画像から人と認識される部分を取得できます。
oFでもPeopleOcclusionできた！うれしい！#openFrameworks #ofxArkit pic.twitter.com/foTSsv4FAm
— ｼﾕｳｺﾞ (@shiyuugo) March 6, 2020
ちゃんと着手するまで勘違いしていましたが、
PeopleOcclusionはあくまで2次元の処理であり、深度を取得したり推定したりする機能ではありません。
逆に言えば人間部分の推定に深度情報を必要としないので、
ディスプレイ・モニタに写った人や平面ポスターに印刷された人なんかでも認識は可能です。
（実際の人間に比べると精度は劣るような印象ですが。）
ちなみにPeopleOcclusionと呼んだり、PersonSegmentationと呼んだり、ほぼ同義のワードが飛び交うようです。
またちなみに、Unityでは、Unityが公式で開発しているらしいARFoundationというARKitをまとめたSDK(?)があって、そこから比較的容易に取得できます。
以前、北千住デザインさんのQiitaの記事を参考にしたら、いとも簡単に動かせたので驚きでした。
で、Unityでは調べりゃたくさん記事が出てくるのですが、openFrameworksではたぶんほぼ参考文献がありませんでした。
ZachLibermanさんのInstagramなどでは、ちらほらPeopleOcclusionらしき作例がアップされていたので、あきらめずに試行錯誤できました。
環境
- openFrameworks0.11.0 for iOS
- 自分の環境は Xcode Version 11.3 (11C29)でした
- iPhoneXSとか
( People Occlusion は A12/A12X Bionic 以降を搭載していないと使えない)
手順
まずは、ofxARKitのサンプルを動かしてみます。
他のアドオンと違いちょいと設定が必要なので、ofxARKitを触ったことない方は、慣れるためにも、適当なサンプルをいくつか実機で実行してみることをおすすめします。
（たとえばexample-basicとかexample-face-trackingとか）
ProjectGeneratorを使ってプロジェクトファイルを作る際には、2bbbさんの記事もとても参考になります。
ofxARKitを使う際の設定項目は大きく4つ。
- Targetの設定 ()
- Signing&Capabilitiesの設定
- ofxiOS-Info.plist でカメラ許可の設定
- Shaders.metal の設定
以下その詳細な手順
- ProjectGenerator > import で適当なサンプルフォルダを選択し、 Updateでプロジェクトファイル(.xcodeproj)を生成します。
-
生成したxcodeprojを開きます。
-
左のProjectNavigatorからプロジェクト名を選択して、[General]タブからDeploymentInfo > TargetをiOS13以上にします。
※PeopleOcclusionなどiOS13以上でないと使えない機能を使う場合、Targetの設定もiOS13以上を設定しておかないとたしか警告が出てうぜえです。
-
続いて[Signing&Capabilities]タブでAppleDevelopperLicenseの設定を行います。
※ここについての詳細はいろいろとややこしいので、別の記事を参考にしてください。
-
ProjectNavigatorから ofxiOS-Info.plistを開き、右クリック>AddRow>Privacy - Camera Usage Description を追加します。
※Valueをサボって空欄にしているとアプリ起動時にコンソールに以下のようなエラーが出てました。[access] This app has crashed because it attempted to access privacy-sensitive data without a usage description. The app's Info.plist must contain an NSCameraUsageDescription key with a string value explaining to the user how the app uses this data.
- ProjectNavigatorから addons > ofxARKit > src > lib > Shaders.metal を開き、右側Inspectorsから Typeを MetalShaderSource、TargetMembershipにチェックを入れます。
その他注意点として、ProjectGeneratorで新規プロジェクトを作ったら、以下フォルダのsrcファイルも必要になります。
- delegates
- MyAppDelegate.h
- MyAppDelegate.mm
- viewcontrollers
- MyAppViewController.h
- MyAppViewController.mm
- OFAppViewController.h
- OFAppViewController.mm
基本はexampleのsrcフォルダにある各フォルダをコピペでいいと思います。僕は特に弄ったことはなかったと思います。
上記の手順を踏めば、実機でサンプルは問題なく動くはずです。
ビルド成功しても、起動直後に落ちる場合は、カメラの設定など怪しいです。
コンソールのエラーを見ると割とちゃんとエラー内容が書いてあるので、参考にしてみてください。
上記手順はProjectGeneratorでプロジェクトをUpdateするたびに必要になります。
なんてこともofxARKitのREADMEに書いてありました。丁寧だぜ。
PeopleOcclusionの実装
本題です。
要点は、
- ARKitからSegmentationBufferを取得する。
- 取得したSegmentationBufferを頑張って使いやす型に変換する。
→今回はcv::Matに変換する方法を見つけたのでcv::Matを採用しました。
ARKitでは人物か否かをSegmentBufferというバッファに格納するようです。
ここまでできれば、openFrameworksで如何様に処理が可能です。
注意点として、取得できるSegmentationBufferは 256x192pxしかありません。
iPhoneXSの場合、取得したカメラ画像の解像度は 1125x2436pxなので、SegmentationBufferをマスクとしてカメラ画像を切り取るには調整が必要です。
cv::Matでは座標の向きも普段と異なったり。。
また、SegmentationBufferをスケールだけ合わせてマスクとして利用すると、もとが低解像度のためエッジがかくかくしてしまいます。
このためof_PeopleOcclusion_exampleではブラーをかけてエッジをなめらかにしてみたり、
ofxCv::ContourFinderで輪郭(Blob)を取得してみたり、工夫が必要になります。
ARKitからSegmentationBufferを取得する
oF_PeopleOcclusion_example をもとに説明していきます。
サンプルアプリの動作を説明をしておくと、
- 取得したカメラ画像の描画
- SegmentationBufferをもとに取得した輪郭線の描画
- SegmentationBufferをもとに取得したステンシルバッファ（白黒マスク画像）の描画
- ステンシルバッファでマスクしたカメラ画像（セグメンテーションされた画像）の描画
の4つをそれぞれ、画面左上、右上、左下、右下のタップでオンオフ切り替えるものです。
sessionの開始
ARKitを利用するためexample-basicなどと同様、まずofAppのコンストラクタでARKitのセッションを開始します。
このsession開始時に合わせて、どんなsessionを開始するのかを記述したconfigurationを設定します。
※これはexample-face-trackingのサンプルを参考にしました。
ofApp :: ofApp (ARSession * session){
ARWorldTrackingConfiguration *configuration = [ARWorldTrackingConfiguration new];
auto mode = ARFrameSemanticPersonSegmentationWithDepth;
bool b = [ARWorldTrackingConfiguration supportsFrameSemantics:mode];
if(b) configuration.frameSemantics = mode;
else ofLogWarning()<<"Not support for "<<mode;
[session runWithConfiguration:configuration];
this->session = session;
}
ARWorldTrackingConfigurationの他にもARBodyTrackingConfigurationなど面白そうな設定もあるのですが、
今回のPeopleOcclusionについては、ARWorldTrackingConfigurationなど一部のタイプでしか利用できなかったはず（Apple公式リファレンスにそんな記述があったようななかったような）
用意したconfigurationに対してframeSemanticsというものを追加で設定してやります。
これもPeopleOcclusionをする際は、ARFrameSemanticPersonSegmentationやARFrameSemanticPersonSegmentationWithDepthなどを指定する必要があります。(Apple公式リファレンス)
以上で、ofApp起動後にセッションが開始され、setup()のなかから、このセッションを引数としてprocessorを生成します。
processor = ARProcessor::create(session);
processor->setup();
で、このprocessorをupdate()することで情報を更新し、sessionから様々な情報を取得することができるようになります。
cvtSegmentationToPix()
update()から呼んでいるもので、ここで、要点となるsegmentationBufferの取得と変換を行っています。
auto buf = session.currentFrame.segmentationBuffer;
ここがポイントです。
ちなみにサンプルでは推論型を使っていますが、CVPixelBufferRefとなります。(公式リファレンス)
さらにちなみにここでsegmentationBufferではなく、estimatedDepthDataを取得すればおそらく2次元画像からデプス推定したバッファを取得できるはず、、！
取得した CVPixelBufferRef をcv::Matに変換します。
参考 : https://stackoverflow.com/questions/19358686/how-do-i-convert-from-a-cvpixelbufferref-to-an-opencv-cvmat/43465531
cv::Mat ofApp::getMatFromImageBuffer(CVImageBufferRef buffer) {
cv::Mat mat ;
CVPixelBufferLockBaseAddress(buffer, 0);
void *address = CVPixelBufferGetBaseAddress(buffer);
int width = (int) CVPixelBufferGetWidth(buffer);
int height = (int) CVPixelBufferGetHeight(buffer);
mat = cv::Mat(height, width, CV_8UC4, address, 0);
//ofxCv::convertColor(mat, mat, CV_BGRA2BGR);
//cv::cvtColor(mat, mat, CV_BGRA2RGBA);
CVPixelBufferUnlockBaseAddress(buffer, 0);
return mat;
}
ここまでで、openFrameworksでPeopleOcclusion(SegmentationBuffer)を取得することができました。
ここから先は、取得したデータをどう処理するかという話になります。
cv::Matの描画やマスクなどの処理については後日また改めて、書きたいと思います。
study：
#openFrameworks #ARKit #ofStudy #shibuya pic.twitter.com/UWbBUA4qnI
— ｼﾕｳｺﾞ (@shiyuugo) March 9, 2020
#openframeworks #creativecoding #ofStudy #arkit pic.twitter.com/biG1BW0iK9
— ｼﾕｳｺﾞ (@shiyuugo) March 27, 2020
#openframeworks #creativecoding #ofStudy #arkit 💃💃💃 pic.twitter.com/XiKKfcXKgX
— ｼﾕｳｺﾞ (@shiyuugo) March 28, 2020
