#xRTechNagoya 4 ヤフー名古屋オフィス[20190830]

2019/08/30に行われた xRTexhNagoya #4 のメモです．
内容の正確性は保証できません．備忘録程度にお使いください．
編集可能にしてありますので追記等ご自由にどうぞ．(2019/08/31 @moco_rocket 拝)

twitterで #xRTechNagoya で検索して補完するといい感じだと思われます

『VTuber配信システムLuppetの顔認識の工夫』izmさん (@izm)

発表資料

izmさんがtwitterに発表スライドをあげてくださっているので，そちらを読むのが正解だと思います． スライドこちら

はじめに

Luppetの立ち位置は？
… 2Dで手軽にVtuberをやるならFacerigがあるが，3Dで手軽なものがなかった(3Dの配信システムはだいたい高価！)→そこでLuppet

Luppetの基本情報：Unity製で，VRM形式の3Dモデルを利用して顔認識・手指の認識を行うソフトウェア

PoCの話

ちゃんと意図が伝わるPoC(コンセプト実証)にしょう！という話．
「UnityAssetを組み合わせたら作れそうだな～」と思う→組み合わせてつくってみる→SNSに上げるということをする．※社内での開発と違い他人に内緒にしなくていいので，早い段階で需要を見ることができるのが個人開発のいいところかも．
でも，見た目がいいものじゃないとせっかくのプロダクトでも見てもらえない…

ノンデザイナーでもPoCの見た目にはこだわろう．

手抜き感が出てしまう要因：

  • 手ぶれ
  • カメラが斜めっている
  • 背景がゴミゴミしている
  • Unityが初期設定の空

動画の尺は短くすること．
撮って出し無音カットはせいぜい10秒までしか見てもらえない！

よいPoCを作るために持っておくとよいもの：

  • カメラ性能がいいスマホ
  • デスクライト
  • スマホ用三脚

技術デモから製品まで

顔認識

深度は顔の横幅などで取っている．
口や目の開き具合などは個人差があるので，開度の上限を動的に修正して吸収する．
例：目閉じ，目開きはある閾値以上でパキっと全開・全閉じ(半目はかわいくないので…)
人間の目は開いている状態が標準と考えて，時間の経過とともに目が開くための判定を緩くしている．
※この辺の話めちゃくちゃおもしろかったんですが，うまくメモが取れていないのでizmさんの発表スライドを見てください

	[あとで調べるwordメモ] ヒステリシス制御，AutoGainControll

Webカメラの性能差も，LowPassFillterをかけて平滑化することで吸収している．

少機能は許されても低品質は許されない．はじめから高品質で出していけ
「こんなめんどくさいの誰も作れないわ」というわくわくを持ってやろう！

まとめ

  • 気軽に作ってSNSに流そう
  • 技術デモでも最低限の見た目に気を配ろう
  • デモから製品までにはめっちゃいろんな工夫を実装することになる

『水中フォトグラメトリ(仮)』 京都造形芸術大学非常勤　yumaさん(@YYouzhen)

フォトグラメトリのメリット

  • カメラ，PC,解析ソフトだけで誰でも手軽に作れる．
  • 測量，記録の時間短縮
  • 訪れにくい場所へ何度も行かなくていい

フォトグラメトリが苦手なもの

  • 透明
  • 反射
  • つるつるしたもの
  • 細いもの

スペイン マヨルカ島 での水中グラメトリ

「水中考古学」に関連したプロジェクトだった．
砂浜から20m,推進1.5~4.0ｍくらいのところに沈没船があり，発掘が容易な環境
実際の発掘作業では，事前にグリッド状に区画をわけて，ドレッジというホースのような道具をつかって掘って発掘を行った．
GoPro5台で動画を撮影．128GBのSDカード7枚，塩ビパイプでリグを切り出して現地で組み立てた．

普通のフォトグラメトリに加えて必要なこと

  • 撮影機材のマスキング…Photoshopでアルファチャンネルを付与
  • 動画からの切り出し…AdobeMediaEncoderとFFmpegを比較して，任意のfpsで切り出しができるFFmpegを採用．0.5fpsで4000枚程度の画像を出力した．
  • 多枚数でのフォトグラメトリになる：メモリが不足する…(i7 RAM32GB 1080Tiでは不足)→ Metashapeというさくらレンタルサーバを採用(RAM128GB, 349yen/h)

実際作成した3DモデルがSkechfabで見られます→Sketchfab

『不思議の国VRChatのギミック制作』 ヨルノイシさん (@yorunoisi)

Vketで自作UnityアプリのVR用キーボードPieninKitを展示したかったのでC#スクリプトなしで実装したよって話．

発表資料

こちら

ほとんどのプログラムはButtonのOnClickで呼び出せる
AnimationEventのPressをフレームで押すことでanimationからButtonを押せる
…が，Vketの規定上使えなかったのでAnimatorで作り直した…………（ヤバ

Animatorは実質ビジュアルスクリプト！！

ヨルノイシさんがtwitterで補足資料を上げてくださってました→　補足資料

『Amazon SumerianでVRをサクッと作る（仮）』ノリノリたかのり (@nori2takanori)

発表資料

ご本人が発表スライドをTwitterで公開して下さっています

Amazon Sumerianとは

  • プログラム，3Dグラフィックの知識がなくても3Dアプリを作成実行できる
  • ブラウザベース
  • 他のAWSサービスと連携できる
  • Sumerian Host(プリセットのアバター)が使える

Sumerian Hostとは

  • Amazon Pollyで口パクしたりジェスチャーさせたりできる

まとめ

  • サンプルが多くてちょっとVRを試すにはよい
  • Sumerian Hostに日本人っぽいアバターがなくて悲しい
  • サクッといかないところがあるのでハンズオンとかしたいな～

告知

JAWS-UG名古屋(AWSの勉強会)というものがあります．
次回：9/18

『最適化で苦しんだ話とシェーダー芸をできるようになりたい話』 道草さん(@michikusa_xR)

発表資料

発表スライドを上げてくださっています こちら(Twitter)

現在VRシーンはけっこう頻繁にイベントがあるので乗っていこうね

VRAA,バーチャルマーケット，Virtual Collection等々…

最適化の重要性

酔い(感覚不一致説)，ロード時間の増大の原因になる

どうやって？

ドローコールを抑える(CPU→GPUへの描画命令を少なくする)→容量削減，fpsの向上

  • ライトベイク
  • ライトプローブ
  • MeshBaker

→カメラのエフェクトにリソースを割ける！！

  • CPUは使いがちなのでできるだけGPUに処理させたい(GPUパーティクル！)

自由セッションの目玉

  • キルロボさん LookingGlass プリメイドAI(ちょうかわいい)
  • ヤスさん キネクトv1(MMDモーショントラッキングとかモデル形成とか)
  • ヨルノイシさん Pieinput(VRで使えるキーボード　触りそこねた)
  • むろまちさん VR関係書籍展示

今後のxRTechNagoya

次回：9/27 (Fri)

告知

STYLY Photogrammetry Workshop at Nagoya Vol.1
を9/8に開催します．
申し込みは 明日 今日(8/31) まで！！！

END

Close