“通用 AI 助理” 是 Google 實驗中的產品，如果要說它的前身，應該可以說是 Google 語音助理（ Google Assistant ）加上 Google 智慧鏡頭（ Google Lens ），並且由 Google 多模態 AI （ Google Gemini ）做為處理模型。
而語音助理+智慧鏡頭的應用，可以參考我們在 2019/6/22 這篇：
Google助理(Google Assistant)APP搭載AI智慧鏡頭 一掃就能探索世界
未來在實現通用 AI 助理的場景， Google 用影片演譯展現出尤如漫威鋼鐵人的隨行人工智慧“老賈” AI 。
舉例在影片中，使用者用手機鏡頭對著物品或特定部位，讓 AI 分析。 手機鏡頭對著螢幕上的程式碼畫面，讓 AI 分析程式功能與程式碼除錯。 對著窗外景色能幫你分析該地點的介紹。
以下為，使用 Google NotebookML AI 對兩支 Google 官方發佈影片的內容解讀與整理
作者： Google NotebookML AI
2024年5月15日的影片
影片展示了 Project Astra 辨識並理解多種類型內容的能力。以下列舉了幾個例子：
發聲物體及其組件：
當被問及看到會發出聲音的物體時，Project Astra 能識別出「喇叭」（speaker） 這個物體，並且進一步辨識出喇叭的特定組件「高音喇叭」（Tweeter），並知道高音喇叭的功能是產生高頻聲音。
程式碼及其功能：
Project Astra 能夠理解程式碼的內容和功能，例如辨識出一段程式碼定義了加密和解密函數，並且判斷該程式碼似乎使用了 AES 加密來編碼和解碼基於金鑰和初始化向量（IV）的資料。
地理位置：
Project Astra 能夠根據視覺資訊判斷使用者所處的地理位置，例如判斷使用者似乎位於倫敦的國王十字（King’s Cross）區域，並且知道該區域以其火車站和交通樞紐而聞名。
先前記憶的視覺資訊：
Project Astra 能夠回憶起先前看到的物體及其位置，例如記得使用者的眼鏡放在書桌上一個紅色蘋果的旁邊。
抽象概念的聯想：
當看到某個系統架構時，Project Astra 能夠將其與一個著名的思想實驗「薛丁格的貓」（Schrödinger’s cat）聯繫起來。
這些例子進一步展現了 Project Astra 在多模態感知與理解方面的能力。它不僅限於辨識具體的物理物品，也能夠理解更抽象的內容，例如程式碼的功能和概念性的知識（如薛丁格的貓）。此外，它還能整合視覺資訊和記憶，以及進行簡單的推理（例如，根據交通樞紐的特性判斷地理位置）。這些能力都是構成一個更全面、更智能的通用 AI 助理的關鍵要素。
2024年12月11日的影片
展示了 Project Astra 辨識多種不同種類物品的能力。以下列舉了一些例子：
洗衣標籤上的符號：
Project Astra 能夠辨識洗衣標籤上的符號，並理解它們代表的洗衣指示，例如水溫（30°C）、是否可漂白、是否可烘乾、熨燙溫度和是否可乾洗。
雕塑：當被問及眼前的雕塑時，Project Astra 能夠辨識出它是 Eva Rothchild 的作品「My World and Your World」，並指出其位於倫敦的路易斯·庫比特公園。
花卉：Project Astra 可以辨識「Mountain fleece」這種植物，並提供其生長習性，例如偏好全日照到部分遮陰以及潮濕排水良好的土壤。
地標：在詢問 24 路巴士是否會經過中國城時，Project Astra 不僅確認會經過附近的萊斯特廣場，還能列舉搭乘這條巴士路線時可能會看到的著名地標，包括西敏寺、大笨鐘和特拉法加廣場。
公園：當使用者詢問身邊的公園時，Project Astra 能夠辨識出那是 Primrose Hill，並提及其以全景城市景觀和莎士比亞之樹而聞名。
商店：在使用者騎自行車返回 Camden 的途中，Project Astra 能夠根據位置查詢並告知沿途的超市，包括 Camden Road 上的 Sainsbury’s、Chalk Farm Road 上的 Morrison’s 和 Camden High Street 上的 MS Simply Food。
這些例子都展現了 Project Astra 利用視覺資訊辨識環境中各種物體的能力，這呼應了我們之前討論的「通用 AI 助理願景」中 多模態感知與理解 的關鍵面向。它不僅能辨識靜態的物品（如雕塑、洗衣標籤），也能夠辨識地理位置上的實體（如公園、地標、商店），並提供與這些物品相關的資訊。這種能力是實現一個能夠理解和回應真實世界複雜情境的通用 AI 助理的基礎。
Google 在 YouTube 官方頻道上發佈了影片「Project Astra」描述使用者與 AI 語音助理的對話內容。
影片展示了一種未來 AI 助理的願景，這個助理能夠透過語音來理解指令、辨識影像資訊，並與使用者進行即時互動。
AI 助理可以回答有關於物體的名稱、聲音來源、創意寫作、程式碼功能以及地理位置等資訊。
它還能記住使用者放置物品的位置、提供系統優化改善建議，甚至激發創意聯想。
影片透過多種測試情境，突顯了 AI 助理在理解、記憶和推理方面的潛力。
Google 對「通用 AI 助理願景」的幾個重要方向， Project Astra 的目標可以說是開發一個能夠理解和回應真實世界複雜情境的 AI 助理，而不僅僅是處理單一模式的輸入或執行預設指令。
以下是影片對「通用 AI 助理願景」看法：
來自 Google NotebookLM AI 對影片的分析內容：
多模態感知與理解：
強調了 AI 助理處理多種輸入模式的能力。Project Astra 可以理解視覺資訊（例如，辨識洗衣標籤上的符號、識別雕塑、觀察周遭環境、辨識物品如揚聲器和紅色蘋果）、聽覺資訊（偵測並識別發聲的物體）、以及文字資訊（例如，讀取電子郵件中的門鎖密碼、分析推薦列表、理解書籍清單以判斷閱讀口味、分析程式碼）。
這種多模態的理解能力是通用 AI 助理的基礎，使其能夠像人類一樣感知和理解世界。
即時互動與情境感知：
影片展示了 Project Astra 在使用者於倫敦各處移動時進行即時互動的能力。它可以根據使用者當下的位置和觀察提供相關資訊，例如辨識使用者附近的公園、查詢前往特定地點的巴士路線和沿途地標、甚至在使用者騎自行車時尋找附近的超市。這種即時性和情境感知能力對於一個真正通用的助理至關重要，使其能夠在各種不同的情境下提供有用的幫助。
記憶與推理能力：
Project Astra 能夠記住先前互動中的資訊，例如門鎖密碼和使用者眼鏡的位置。此外，它還可以進行簡單的推理，例如根據洗衣標籤上的說明判斷洗衣機的設定、根據書籍清單推斷使用者的閱讀偏好、以及根據程式碼的功能進行解釋。這些記憶和推理能力使得 AI 助理能夠進行更連貫和有意義的對話，並提供更個性化的幫助。
解決實際問題的能力：
Project Astra 可以協助使用者處理各種實際問題，例如：
- 提供洗衣建議
- 提供地點資訊和導航幫助
- 解決發音疑問
- 提供禮物建議
- 查詢天氣預報
- 提供關於植物生長的建議
- 尋找附近的商店
這些實際應用展示了 Project Astra 作為一個通用助理的潛力，可以融入使用者的日常生活並提供實質性的幫助。
跨設備和介面的願景：
影片中展示了在 Pixel 手機和原型眼鏡上測試 Project Astra，這暗示了 Google 期望這個 AI 助理能夠整合到各種不同的設備和介面中，提供無縫的使用體驗。在眼鏡上的測試尤其突顯了「免手持」操作的潛力，使得 AI 助理能夠在更廣泛的場景中提供協助。
更自然和人性化的互動：
雖然沒有直接討論語音互動的細節，但其展示的即時問答和情境感知能力，暗示了 Project Astra 旨在實現更自然、更像人類對話的互動方式。例如，對於「scone」的發音問題，AI 助理並未給出唯一的答案，而是解釋了兩種發音都是可接受的，並提及了地區差異。
總結來說，這兩部影片描繪了一個高度智能、多模態、情境感知且能夠即時與真實世界互動的「通用 AI 助理」的願景。Project Astra 不僅僅是一個資訊檢索工具，更像是一個能夠看、聽、理解、記憶和推理的智能夥伴，旨在融入使用者的日常生活，解決實際問題並提供無縫的幫助。
Google 可以說是打算將 AI 透過手機融合在你的生活當中，人人都能有個隨行的 AI 助理。