• <fieldset id="82iqi"></fieldset>
    <tfoot id="82iqi"><input id="82iqi"></input></tfoot>
  • 
    <abbr id="82iqi"></abbr><strike id="82iqi"></strike>
  • 魔法一樣隔空在屏幕寫字,捏起手指就能實現,在線可玩

    空中畫符的中二技能,誰不想擁有呢?

    不如捏一只萬能的AI來當魔法畫筆吧。

    這是一個用來寫寫畫畫的手部跟蹤程序,開發者將它命名為YoHaYour Hand Tracking)。

    這個程序基于TensorFlow.js實現了實時識別功能,能達到不卡頓、無延遲的效果。

    捏起手指就可以變成畫筆,清空畫布也只需握拳就能辦到。

    用YoHa給自己畫特效的效果這么好,難怪可以獲得555顆星。

    這只AI怎么玩?

    這款手勢識別程序已經開源,開發者Benjamin大方地提供給了所有人使用“魔法”的機會。

    既可以安裝在自己的電腦上來玩,一行代碼就能輕松實現。

    npm install @handtracking.io/yoha

    也可以在線試玩,直接用網頁下載模型寫寫畫畫。

    雖然YoHa目前只能對捏手指和握拳兩個指令動作做出功能響應,但是因為有TensorFlow.js加持,它的性能可一點都不低。

    21個手部關節定位,左右手方向檢測,手部姿勢檢測等都可以實時實現。

    來看看“買家秀”是不是也一樣秀。

    原來成為不了法師只是因為符文畫太丑

    如此好玩的AI背后,究竟是什么原理呢?

    YoHa模型使用TensorFlow.js深度學習框架來進行從頭訓練,開發過程包含了訓練步驟和推理步驟兩大部分。

    它的模型訓練階段利用了自定義神經網絡,以自定義數據集作為訓練數據,而在線實時推理則用到了TensorFlow.js推理框架。

    不過,因為TensorFlow.js規模的限制,比起電腦,YoHa在移動設備上的表現較差。

    另外,YoHa的本地運行速度也比在線試玩快很多,果然馴服AI還是得先帶回家里養。

    手勢識別有什么用?

    YoHa的開發者Benjamin提到,制作這個項目一開始是為了增加網絡的互動性:

    “現有的解決方案沒有我想要的,所以我給自己創建了新的解決方案”

    不愧是動手能力強的大佬,沒有自己想要的,那就自己造一個。

    手勢識別這么火,干脆多開發一些玩法,添加更豐富的功能讓VR/AR更好玩。

    針對之前提到的YoHa性能缺陷,Benjamin也給玩家提供了高性能備選方案:通用手勢識別模型MediaPipe。

    如果高端玩家對性能有更高追求,可以在這個經典模型基礎上進行功能擴展。

    比如不久前以MediaPipe為基礎開發的類似項目air-drawing,在玩法上和YoHa稍有不同。

    感興趣的話,自己去馴服一只AI來寫字畫畫吧。

    GitHub地址:

    https://github.com/handtracking-io/yoha

    試玩地址:

    https://handtracking.io/draw_demo/https://loicmagne.github.io/air-drawing/

    本文來自微信公眾號“量子位”(ID:QbitAI),作者:興坤,36氪經授權發布。