國外網友自己研究《GPT之眼》把人工智慧帶進現實生活，這就是電影「鋼鐵人」中賈維斯的感覺嗎？

圖片來自：youtube

在電影「鋼鐵人」中東尼史塔克有一個非常優秀的助手，這邊講的不是由強·法夫洛扮演的〝得力助手〞快樂霍根，而是由保羅·貝特尼配音演出的人工智慧電腦兼虛擬管家賈維斯，相信看過電影的朋友都知道虛擬管家很有用，它不但可以跟主人進行對話、甚至也能幫忙做事、分析資料。不過大家知道這樣的技術在未來真的有可能成真嗎？國外就有網友自己研發了一組「GPT之眼」，透過攝影機把資料輸進電腦，再轉成訊息然後輸入給GPT-4，然後GPT-4回覆的內容再透過電腦播放出來，以初步成型來說！這樣的技術已經十分驚人了

圖片來自：SlashGear

國外有一位網友Mckay Wrigley近期也跟許多網友一樣，正在研究GPT-4的神奇奧妙之處，在國外已經有很多人將這套系統玩出花樣，像是用它來打報告或是進行文書處理，有人則是拿來寫網站程序，不過剛剛所提到的這些可能都不比這位網友所做的還要厲害，因為他想做的是讓AI有一雙可以辨識現實世界物體的眼睛，使人工智慧電腦兼虛擬管家這件事成真

圖片來自：@mckaywrigley

Mckay Wrigley是一位自學程式碼的年輕人，從開始到現在不過四年時間，雖然比不上許多前輩或工程師大佬，但他最近所做的一項舉動引起了網友注意，那就是替人工智慧裝上眼睛，雖然他本人很謙虛的說這些很基本，但成果的確是相當顯而易見！首先攝影的部份他選擇蘋果手機，用手機拍攝在電腦上進行直播，接著再使用視覺模型「YOLOv8」檢測目標，為了確保資料全都正確，還必須事先將整棟屋子的所有東西（圖片資料）輸入至電腦，先匯集成一個數據庫，以上這些跟等等提到的部份，據說都是他上網看了別人教學的20分鐘影片自學的...所以，要嘛他是天才，再不然就是這些操作真的很簡單？？？

圖片來自：@mckaywrigley

還記得剛剛提到鋼鐵人電影中的虛擬管家嗎？實際上為了讓科技更貼近人性，Mckay Wrigley選擇了OpenAI公司推出的語音自動識別系統「Whisper」，安裝到電腦上進行對話分析，這套系統對於英文的識別準確率極高，因此只要有這套系統的幫助，就能將他講的話轉成文字輸入給GPT-4，然後GPT-4輸出的文字訊息會被AI語音生成器透過喇叭唸出來，如此一來一套虛擬管家系統就算完成了

圖片來自：youtube

內容大概就是這樣，我覺得大家看影片可能會比較有感，總之畫面裡Mckay Wrigley用手機拍下畫面的同時，上面的框框就是系統正在判讀眼前的物體資料，接著他對著人工智能說什麼是生酮飲食，然後AI回覆說這是一種高脂肪、低碳飲食方式，可以有效降低血糖跟胰島素，讓人體遠離碳水化合物的同時改變身體的新陳代謝...等等，接著下一個話題就是，如果我給你(AI)看一些食物，你能告訴我那些是相關的食物嗎？

圖片來自：youtube

接著畫面就帶到冰箱，裡面有一些牛排、果汁、可樂、醬料等食物，畫面動得很快有些畫面一閃而過，不過畫面上的框框也在不停閃爍，意思就是系統正在判別這些物品，最終GPT-4給出回答，裡面有的牛排、蔬菜、蔬果等都是很棒的生酮食物，接收到這些訊息的Mckay Wrigley很開心，於是進一步要求AI找一份食譜，依照冰箱裡面的東西做出料理，結果AI還給了一條網頁連結，雖然這網頁裡的資訊不是很完美，因為用到了不少他沒有的冰箱食材，但短短影片的展示已經向所有人展現人工智能管家的強大跟潛力

底下這段影片則是他前一陣子的嘗試版本，但已經具備人與電腦良好的溝通方式與100%準確的識別能力，比方Mckay Wrigley拿出一罐健怡可樂並詢問其熱量，GPT-4能清楚回答商品名稱以及這是零卡洛里的東西，接著拿出一根牙刷問AI這是什麼，並且給出購買連結，這點GPT-4也能回答，最後秀出一張捍衛任務4的海報，請GPT-4給出畫面裡這個男人的訊息，而GPT-4也很清楚地回答出這是基努李維，這是他在電影「捍衛任務4」中扮演的角色

I gave GPT-4 eyes.

Here’s what I did:
- added some data to a vision model
- gave the AI camera access
- asked it questions about the scene
- it identified objects
- it searched web for info
- used that info to accurately answer

Watch it get 3 questions 100% correct! pic.twitter.com/qzUmcneXDi

— Mckay Wrigley (@mckaywrigley) April 26, 2023

以上就是這次跟大家分享的相關內容，我覺得大家剛剛看到的這些，在未來肯定會有大公司參與研發，也許不久的將來人們就可以靠VR設備，把虛擬跟現實結合再一起，實現一種超越現在能想像到的方便生活

所以將來人人都有一套賈維斯，但不一定每個人都會是東尼史塔克(財力)就是惹= =

鋼鐵人,賈維斯,AI,人工智能,GPT之眼,虛擬管家,GPT-4