想快速了解、吸收周遭的資訊,最簡單的方式就是直接將腦海中、網頁中的資訊視覺化,讓使用者能夠在周遭實景中清楚看見這些資訊。在今年的 Google I/O,我們在 Google 搜尋與 Google 智慧鏡頭推出了新的功能,這項功能應用相機、電腦視覺與擴增實境 (AR)技術, 能將資訊與內容呈現在周遭實體景物上,協助使用者更輕鬆的完成每日待辦事項。
AR 在 Google 搜尋中的應用
隨著 AR 功能將在本月底陸續導入 Google 搜尋,使用者將可以直接從 Google 搜尋中查看物體的 3D 樣貌,並將這些物體放置到所在的空間裡,方便使用者大致掌握物體的比例大小和細節。舉例來說,藉由字面資訊得知大白鯊身長 6.4 公尺是一回事,但如果可以將該鯊魚模型放置到所在的空間裡,親眼見到大白鯊與自家客廳物品相比之下有多大,這又是另一回事了。在功能上線後,當使用者搜尋特定動物時,我們會讓使用者能在知識圖譜中直接選擇以 3D 或 AR 模式查看資訊。

將大白鯊從 Google搜尋帶到使用者所在空間
我們也與 NASA、New Balance、Samsung、Target、Visible Body、Volvo、Wayfair 等夥伴密切合作,致力在 Google 搜尋結果中提供他們的 3D 內容。如此一來,不論使用者正在學校研究太空探索,還是想買一雙全新運動鞋,都可以透過 Google 搜尋把這些 3D 物件帶到真實世界,與這些模型進行互動。

搜尋「肌肉屈曲」(Muscle Flexion),查看來自 Visible Body 的動態模型
Google 智慧鏡頭的新功能
目前使用者對 Google 智慧鏡頭提出的問題已超過 10 億個,而 Google 智慧鏡頭也運用機器學習、電腦視覺,以及知識圖譜中數百億個事實來逐一解答這些問題。現在,我們讓 Google 智慧鏡頭持續進化,以更多視覺化的回答,來回覆使用者對於周遭環境的問題。
假設使用者正在餐廳用餐,還在思索要點什麼菜,新的 Google 智慧鏡頭功能會直接在實體菜單上顯示該餐廳最熱門的菜色。此外,在點選菜單上的其中一道菜之後,使用者將可以看到這道菜的實際樣子,以及人們在 Google 地圖上對於這道菜的評論。

Google 智慧鏡頭能協助使用者更輕鬆決定要點什麼菜色
為了協助使用者,Google 智慧鏡頭首先必須先辨識出菜單上的所有菜色,並找出菜單字體、樣式、大小和顏色等資訊,以從描述中辨別出不同菜色。接著,再將菜色名稱與該餐廳在 Google 地圖上的相關的照片和評論進行配對。

Google 智慧鏡頭能翻譯文字並將其呈現在原本的文字上
當身處於陌生的地方,又不懂當地語言時,Google 智慧鏡頭就顯得更加實用。現在,使用者可以將相機鏡頭對準文字,Google 智慧鏡頭會自動偵測語言並將翻譯直接覆蓋在原本的單詞上,這項功能目前支援超過 100 種語言。
我們持續努力研究其他能夠將實用數位資訊與真實世界串連的方式。舉例來說,從下個月開始,使用者可以在舊金山的 de Young 博物館,透過 Google 智慧鏡頭直接看到由策展人提供的畫作背後故事。又或者,如果使用者想煮一道《Bon Appetit》雜誌中出現的菜色,只要將鏡頭對準該道菜的食譜,該頁面就會開始展示如何做這道菜。

透過 Google 智慧鏡頭更生動的在真實世界中呈現《Bon Appetit》食譜
Google Go 智慧鏡頭
全球有超過 8 億成年人難以清楚讀出公車時刻表、銀行表單等內容。這也讓我們自問是否能透過 Google 智慧鏡頭協助閱讀上較有障礙的人士。
當使用者將相機鏡頭對準文字,Google 智慧鏡頭就能夠替使用者大聲讀出這些文字,並且在手機上更明顯呈現正在被讀出的文句,方便使用者能夠隨著 Google 智慧鏡頭讀出的內容了解完整資訊。使用者也可以點擊特定文字來搜尋這段文字並了解其定義。這項功能將首先在我們為智慧型手機入門使用者打造的系統 Google Go 推出。Google Go 的 Google 智慧鏡頭僅佔 100 KB 的空間,且即使在入門款手機也可以使用。

Google 智慧鏡頭會在手機上更明顯呈現正在被讀出的文句,方便使用者隨時跟上
Google 搜尋與 Google 智慧鏡頭上的全新功能提供了更完整的視覺資訊,幫助使用者探索世界,並且透過在真實世界中呈現資訊,讓這些近一步幫助使用者理解、完成待辦事項。
本文作者:Google AR 與 VR 產品管理副總裁 Aparna Chennapragada