VideoDoodles是一款能在視頻中輕松任意插入手繪動畫并與視頻內容無縫融合的ai工具，它將視頻內容與手繪動畫相結合，制作出獨特的視頻剪輯。通過VideoDoodles你可以在視頻中添加手繪涂擦動畫，比如你可以畫個搞笑的小人或者別 的手繪元素插入到視頻中，讓視頻更吸引人。這些動畫不僅能跟隨視頻中的物體移動，還能自動調整大小和角度。

VideoDoodles主要挑戰在于確保手繪動畫能完美集成到捕獲的場景中，當它們相對于相機和場景中的其他對象移動時進行適當的跟蹤、透視變形和遮擋。

VideoDoodles引入了一種新穎的 UI 和跟蹤算法，以解鎖通過深度和運動數據（通過現有計算機視覺方法獲得）增強的視頻的新版本功能。根據通過任意數量的位置和方向關鍵幀表達的用戶意圖，VideoDoodles的算法可以通過正確的遮擋、透視變換在視頻的任何幀渲染場景感知畫布，并使畫布跟隨移動對象。使得插入的繪畫能夠自然地融入視頻場景，實現追蹤、透視變形和遮擋等復雜視覺效果。

VideoDoodles 的主要功能：

• 場景感知畫布：VideoDoodles讓用戶可以將平面畫布放置在從視頻重建的 3D 場景中。這些畫布以 3D 方式進行跟蹤，然后手繪動畫在相對于相機和場景中的其他對象移動時保持正確的透視和遮擋。

• 自定義跟蹤算法：VideoDoodles可將畫布錨定到視頻中的靜態或動態對象。這確保畫布移動和旋轉以跟隨這些對象的位置和方向，使動畫顯示為捕獲場景的一部分。

• 用戶界面易用：VideoDoodles提供 2D 圖像空間 UI，用戶可以通過關鍵幀控制畫布的位置和方向。系統通過跟蹤視頻1中移動對象的運動來插入這些關鍵幀。

• 深度和運動數據集成：VideoDoodles 利用通過現有計算機視覺方法獲得的深度和運動數據來增強動畫的真實感。這種集成允許通過正確的遮擋和透視變換準確渲染場景感知畫布。

VideoDoodles 的應用：

娛樂：通過添加與現實世界鏡頭交互的動畫元素來創建有視覺吸引力的視頻內容。

教育：通過說明性動畫增強教育視頻，有助于更有效地解釋復雜的概念。

增強講故事能力：VideoDoodles 可用于在真人鏡頭中添加異想天開或說明性元素，從而增強敘事和視覺吸引力。

創意廣告：品牌可以使用 VideoDoodles 來創建獨特的廣告，通過將現實世界的鏡頭與動畫元素相結合來讓廣告更有吸引力。

VideoDoodles 通過實現手繪動畫與視頻內容片段的無縫融合，從而輕松地生成獨特有趣的交互式視頻視覺內容，從而增強講故事、教育、營銷、社交媒體內容創作的用戶體驗。