人工智能能力的快速發(fā)展讓許多人感到擔憂。但別太擔心：如果你能正確讀出模擬鐘表，在這方面你仍然領(lǐng)先于人工智能。

能夠分析文本、圖像和視頻等不同類型媒體的人工智能模型——被稱為多模態(tài)大型語言模型（MLLM），正在體育分析和自動駕駛等多個應(yīng)用領(lǐng)域獲得廣泛關(guān)注。但有時，這些模型在看似最簡單的任務(wù)上也會失敗，比如準確讀取模擬鐘的時間。這就引發(fā)了一個問題：這些模型到底在哪些圖像分析方面遇到了困難？

例如，在閱讀傳統(tǒng)鐘表時，模型是否難以區(qū)分短指針和長指針？或者難以準確定位手的角度和方向，相對于數(shù)字？這些看似瑣碎的問題的答案，可以為揭示這些模型的主要局限性提供關(guān)鍵見解。

馬德里理工大學助理教授哈維爾·孔德（Javier Conde）與米蘭理工大學和巴利亞多利德大學的同事們，在一項近期研究中試圖探討這些局限性。該結(jié)果于10月16日發(fā)表在《IEEE Internet Computing》雜志上，表明如果MLLM在圖像分析的某一方面存在困難，可能會引發(fā)連鎖反應(yīng)，影響其圖像分析的其他方面。

人工智能能多準確地判斷時間？

首先，研究團隊構(gòu)建了一個大型模擬時鐘合成圖像數(shù)據(jù)集，這些圖像總計顯示了超過43,000個指示時間，并測試了四種不同MLLM讀取部分圖像時間的能力。這四個型號最初都無法準確報時。研究人員通過額外5000張數(shù)據(jù)集中的圖像訓練模型，并使用他們之前未見過的額外圖像進行測試，從而提升了模型的性能。然而，當與一組全新的時鐘圖像進行測試時，這些模型的性能再次下降。

結(jié)果觸及了許多人工智能模型的一個關(guān)鍵局限：它們擅長識別熟悉的數(shù)據(jù)，但往往未能識別訓練數(shù)據(jù)中尚未遇到的新情景。換句話說，它們往往缺乏概括性。

孔德和他的同事們希望深入挖掘為何MLLM難以看時間。如果問題與模型對時鐘指針空間方向的敏感度有關(guān)，那么進一步的微調(diào)可以解決這一限制——只需讓模型接觸更多數(shù)據(jù)，它就能在當前任務(wù)中變得更好。

通過一系列實驗，他們創(chuàng)建了新的模擬鐘表數(shù)據(jù)集，這些數(shù)據(jù)集要么帶有扭曲形狀，要么通過在指針端添加箭頭來改變鐘表指針的外觀?？椎陆忉尩溃骸半m然這些變化對人類來說并不難，但模型往往在這方面失敗，”他引用了薩爾瓦多·達利著名的扭曲鐘表畫作《記憶的持續(xù)》。雖然人類可以破譯變形、融化的鐘表時間，但MLLM難以判斷同樣扭曲的鐘表時間。

結(jié)果顯示，MLLM難以準確定位鐘表指針的空間方向，但當鐘表指針具有獨特外觀（例如指針尖端的箭頭）時，模型尚未廣泛接觸，表現(xiàn)更為困難。然而，這些問題并非彼此排斥：通過額外的實驗，研究人員發(fā)現(xiàn)如果MLLM在識別鐘表指針時出現(xiàn)錯誤，反過來又會導致更大的空間誤差。

孔德解釋道：“看來讀取時間并不像看起來那么簡單，因為模型必須識別鐘針，確定其方向，并將這些觀察結(jié)合推斷出正確的時間，”孔德解釋道，指出模型難以同時處理這些變化。

在他們的研究中，研究人員強調(diào)，在更復(fù)雜的現(xiàn)實場景中，如醫(yī)學圖像分析或自動駕駛感知，這些細微但關(guān)鍵的失誤可能導致更嚴重的后果。

“這些結(jié)果表明，我們不能把模型性能視為理所當然，”Conde強調(diào)，需要大量訓練和測試，才能確保模型在現(xiàn)實應(yīng)用中可能遇到的多樣場景下保持穩(wěn)健。

許多人預(yù)計人工智能將繼續(xù)進步，這反過來又引出了一個問題：人工智能模型最終能否準確讀取傳統(tǒng)的模擬時鐘？只有時間能證明。