魔法一樣隔空在屏幕寫字,捏起手指就能實現,在線可玩
空中畫符的中二技能,誰不想擁有呢?
不如捏一只萬能的AI來當魔法畫筆吧。
這是一個用來寫寫畫畫的手部跟蹤程序,開發者將它命名為YoHa(Your Hand Tracking)。
這個程序基于TensorFlow.js實現了實時識別功能,能達到不卡頓、無延遲的效果。
捏起手指就可以變成畫筆,清空畫布也只需握拳就能辦到。
用YoHa給自己畫特效的效果這么好,難怪可以獲得555顆星。
這只AI怎么玩?
這款手勢識別程序已經開源,開發者Benjamin大方地提供給了所有人使用“魔法”的機會。
既可以安裝在自己的電腦上來玩,一行代碼就能輕松實現。
npm install @handtracking.io/yoha
也可以在線試玩,直接用網頁下載模型寫寫畫畫。
雖然YoHa目前只能對捏手指和握拳兩個指令動作做出功能響應,但是因為有TensorFlow.js加持,它的性能可一點都不低。
21個手部關節定位,左右手方向檢測,手部姿勢檢測等都可以實時實現。
來看看“買家秀”是不是也一樣秀。
原來成為不了法師只是因為符文畫太丑
如此好玩的AI背后,究竟是什么原理呢?
YoHa模型使用TensorFlow.js深度學習框架來進行從頭訓練,開發過程包含了訓練步驟和推理步驟兩大部分。
它的模型訓練階段利用了自定義神經網絡,以自定義數據集作為訓練數據,而在線實時推理則用到了TensorFlow.js推理框架。
不過,因為TensorFlow.js規模的限制,比起電腦,YoHa在移動設備上的表現較差。
另外,YoHa的本地運行速度也比在線試玩快很多,果然馴服AI還是得先帶回家里養。
手勢識別有什么用?
YoHa的開發者Benjamin提到,制作這個項目一開始是為了增加網絡的互動性:
“現有的解決方案沒有我想要的,所以我給自己創建了新的解決方案”
不愧是動手能力強的大佬,沒有自己想要的,那就自己造一個。
手勢識別這么火,干脆多開發一些玩法,添加更豐富的功能讓VR/AR更好玩。
針對之前提到的YoHa性能缺陷,Benjamin也給玩家提供了高性能備選方案:通用手勢識別模型MediaPipe。
如果高端玩家對性能有更高追求,可以在這個經典模型基礎上進行功能擴展。
比如不久前以MediaPipe為基礎開發的類似項目air-drawing,在玩法上和YoHa稍有不同。
感興趣的話,自己去馴服一只AI來寫字畫畫吧。
GitHub地址:
https://github.com/handtracking-io/yoha
試玩地址:
https://handtracking.io/draw_demo/https://loicmagne.github.io/air-drawing/
本文來自微信公眾號“量子位”(ID:QbitAI),作者:興坤,36氪經授權發布。