新的SFI研究挑戰了一種流行的觀念，即機器學習算法如何“思考”某些任務。
這個概念是這樣的：由於它們具有丟棄無用信息的能力，因此一類稱為深度神經網絡的機器學習算法可以娛樂城註冊送500從原始數據中獲取一般概念-例如在不同情況下遇到成千上萬隻不同貓的圖像後，通常會識別貓。據說這種看似人類的能力是網絡分層架構的副產品。早期的層對“貓”標籤以及預測所需的所有原始信息進行編碼。然後，隨後的層將信息壓縮，就像遇到瓶頸一樣。忘記了無關緊撲克牌遊戲要的數據，例如貓的外套的顏色或旁邊的牛奶碟，只留下了一般特徵。信息理論對樂觀的程度提供了界限leo娛樂城就平衡平衡和壓縮的競爭需求而言，每個層的平衡程度如何。
“很多時候，當您擁有神經網絡時，它會學習將面孔映射到名稱，將圖片映射到數字，或者像Frenc這樣令人驚奇的事物金合發娛樂城從文本到英語文本，它具有許多中間的隱藏層，信息通過必發網娛樂城gh”，SFI博士後研究員，該研究的主要作者Artemy Kolchinsky說。 “因此，存在著一個長期的想法，即隨著原始輸入被轉換為這些中間表示，系統正在對壓縮進行交易預測，並通過此信息瓶頸來構建更高級別的概念。”
但是，Kolchinsky及其合作者Brendan Tracey（麻省理工學院SFI）和Steven Van Kuyk（惠靈頓大學）在將這種解釋應用於常見分類問題時發現了一個令人驚訝的弱點，其中每個輸線上麻將ptt入都有一個正確的輸出（例如，每張圖片可以是貓也可以是狗）。在這種情況下，他們發現新球網娛樂城 具有許多層的分類器通常不會放棄某些改進壓縮的預測。他們還發現，輸入有許多“平凡的”表示形式，從信息論的角度來看，它們在預測和壓縮之間的平衡方面是最佳的。
“我們發現，這種信息瓶頸措施並沒有像您或我一樣看到壓縮。有了選擇，將“馬提尼酒杯”與“拉布拉多酒”放在一起，就像將它們與“香檳酒杯”放在一起一樣，” Tracey解釋說。 “這意味著我們應該繼續尋找與我們的壓縮概念更匹配的壓縮方法。”
儘管壓縮輸入的想法可能仍在機器學習中發揮有用的作用，但這項研究表明，這不足以評估不同機器學習算法使用的內部表示。
同時，科爾欽斯基說，壓縮和預測之間的權衡概念仍然適用於確定性較低的任務，例如根據嘈雜的數據集預測天氣。 Kolchinsky強調：“我們並不是說信息瓶頸對有監督的[機器]學習無用。” “我們在這裡展示的是，它在許多常見的機器學習問題上的表現違反直覺，這是機器學習社區中的人們應該意識到的事情。”
本文已從聖達菲研究所提供的材料中重新發布。注意：材料的長度和內容可能已被編輯。有關更多信息，請聯繫引用的來源。
參考：Kolchinsky，A.，Tracey，B.D.，＆Van Kuyk，S.（2018年）。確定性場景中信息瓶頸的警告。 ArXiv：1808.07593 [Cs妞妞算牌，Stat]。取自http://arxiv.org/abs/1808.07593
