Re: [討論] AI還能夠紅幾年？ 以聊天機器人領域來說明

[lion741205 (獅子)]

※ 引述《wang19980531 (中立評論員)》之銘言：
: 雖然現在實驗室接到很多公司計畫還是和機器學習相關，
: 但其實很多教授都覺得AI在走下去也過不了幾年，
: 技術方面已臻成熟，玩不出什麼把戲了。
: 不知道業界怎麼看呢？
: 未來的發展是量子計算機嗎？

雖然CV透過DL取得了重大進展，但在NLP領域，AI仍然處於發展初期，技術談不上成熟，
以敝人負責的Chatbot領域來說，有個可以參考的例子，自從圖靈測試在2014年被聊天機
器人Eugene通過後，加拿大學者改進測試的缺失提出了威諾格拉德架構挑戰賽(Winograd
Schema Challenge)，也是目前最具權威的AI競賽。

該競賽的第一輪是代詞消歧問題(Pronoun disambiguation problems)。舉例來說，當人
類分析句子時，會用經驗來理解指代的對象：

一、市議會拒絕示威者，因為他們害怕暴力。
二、市議會拒絕示威者，因為他們提倡暴力。

而這個選擇題只有兩個答案，代詞"他們"是指"市議會"還是"示威者"，AI應該要指出在第
一句說的是市議會，第二句說的是示威者，從問題上可以發現，系統無法透過這段話的上
下文進行理解得到答案，這在實作上必須透過知識圖譜(Knowledge Graph)進行推理，要
通過比賽拿到獎金25,000鎂，準確率(Accuracy)必須達到90%以上，但目前最好的成績只
有58%，遠比人類低得多。

除了上述根本影響Chatbot問答品質的問題，還有幾個難題仍未被突破：

1.通用的模型架構（Universal Model Architecture）：為了整合語音辨識、詞法分析、句
法分析、語意分析、深度學習，答案搜尋，對話管理、自然語言生成和語音合成等模組，
確保其相容性，當前Chatbot架構與模型相當複雜，管理較為困難，如何研發通用的架構
與模型，是未來所有同業的發展目標。

2.情感計算（Affective Computing）：從分析文本的情感（Sentiment Analysis）到辨
識人類情緒的情感計算，例如開心、生氣、哀傷等；可以讓Chatbot與人交互時更有溫度
，是目前產學界熱門研究方向。

3.開放領域（Open Domain）：現在的Chatbot只能做好特定領域的工作，如何建構開放領域
的知識，甚至不需要人工建構知識，讓機器自學習，也是產學界正在努力的方向。

4.端對端（End to end）：不經過傳統的模組串聯，利用深度學習（Deep Learning
）建立端對端的簡潔模型；達到輸入原始資料後，可直接得到想要的輸出結果，但與此
同時還要支援多輪對話管理、上下文情境及知識圖譜推理，避免安全回答，甚至是保持
Chatbot個性的一致性，正確的進行指代消解，這些挑戰都是產學界近期的目標。

5.基於生成的模型（Generative Model）：目前自然語言生成技術 ，可分為基於檢索、基
於範本及基於生成兩種方法，三者都可以導入深度學習技術，目前以基於檢索及基於範本
為業界主流；雖然深度學習Seq2seq模型非常適合產生文字，但此基於生成方法尚處早期
的發展階段，空間和時間複雜度高，實際應用效果不佳。

以上問題，可見AI還有很長的一段路要走；但不管準確率有多高，以商用Chatbot來說，
只要能節省足夠的客服成本，就能讓許多企業為高價的AI人才買單。以上是個人在業界
工作得到的經驗，分享給各位同業；這個領域還有一堆做不完的工作，也鼓勵研究生們
好好學習入坑。

文章被JPPT App吃掉了... 整理中

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.214.225.46 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1575902319.A.1E0.html

→ followwar: NLP不是被BERT模型統治了嗎... 12/09 23:15
智能客服VCA和助理VPA為了調控，敝司都還是以基於規則和基於統計方法為主，
深度學習為輔的；而且BERT預訓練理解和生成所需特徵不一致，不適合用於自然語言生成
→ followwar: BERT是pretrained by unsupervised mask autoencoding 12/09 23:49
→ followwar: 要用在其他作業勢必要finetune 該怎麼理解"不一致"之說 12/09 23:50
可以看一下這篇
https://zhuanlan.zhihu.com/p/70663422
推 sxy67230: Bert的問題比較像是當前純原始語料資料本身就很精確， 12/10 00:17
→ sxy67230: 質量高的情況下再做大規模訓練，但是我認為好的訓練應 12/10 00:17
→ sxy67230: 該是要建立在資料源規模不複雜的情況下，像是XLNET或是A 12/10 00:17
→ sxy67230: LBERT 就是很好的嘗試，回歸語言建模的問題。 12/10 00:17
推 GGFACE: 沒錯                                                    12/10 00:35
推 sxy67230: 我打錯字了 AR LM 跟AE LM
推 sxy67230: 然後人類視為智慧的聊天建立是更複雜的多重任務，包含
→ sxy67230: 生成、理解、先驗知識的推理跟後驗知識的檢索、記憶、
→ sxy67230: 組合、情感，還有文化脈絡的符號。
感謝分享想法
→ longlongint: 個人覺得 文法上是往前找最近的名詞 只能是示威者
→ longlongint: 所以 一那個句子根據知識會覺得WT.....
推 followwar: 我理解了你的concern 那我說"Transformer"架構統治NLP
→ followwar: 也許更精準一點 我比較想說Architecture而不是TASK
→ followwar: 如同ResNet"架構"在CV領域的影響力
可以同意你的說法，現在Transformer架構在NLP研究是主流，而且廣泛應用於NLP的各種任務
推 w0005151: 這ID有印象是個高手, 在業界混過看到的果然會不太一樣
謝謝 工作需要 也希望跟大家多交流
推 iaminanl: 你舉的這兩句，我覺不同情境、不同人可能有不同答案
這是Winograd模式的第一個引用的例子 但上下文情境不同 的確會影響答案
推 leoloveivy: 花錢用azure
※ 編輯: lion741205 (49.214.225.46 臺灣), 12/10/2019 20:29:44
推 genius945: 推  感謝分享
推 ILYY: 推
→ DrTech: 這篇討論沒很專業吧，論文也沒看幾篇的人，chatbot通常是
→ DrTech: 開放領域的"閒聊"，才會用chatbot 這名詞。
→ DrTech: chatbot通常跟task-oriented的客服完全不同研究或實務產品
→ DrTech: 路線。這篇卻把chatbot 與客服扯在一起…
敝司把閒聊模組命名為Chatting Bot；你說Chatbot就代表閒聊，我並不認同，
可以參考一下英文維基百科的定義 https://en.wikipedia.org/wiki/Chatbot，
或中文IThome的介紹 https://www.ithome.com.tw/news/113445，事實上Chatbot一詞
應包含開放領域的"閒聊系統"、特定領域的"問答系統"及"Task-oriented對話系統"；
附帶一提，即使是客服/商用VCA，大部分也都有Chit-chat系統模組，實務上密不可分，
只是不同產品著重的部分不同
→ DrTech: 至於NLP被BERT統治？出社會工作了嗎？還是在沒業務的小公
→ DrTech: 司？ 真正流量大，即時性高的應用怎麼上得了BERT
→ DrTech: 模型壓縮，或知識蒸餾搞 下去，也不是叫BERT阿
→ DrTech: 另外，先不說計算時間問題，BERT真沒想像中神奇，BERT以及
→ DrTech: 相關預訓練模型出現，學術論文多，實務上真的幫助不大，一
→ DrTech: 堆問題還是沒有好方法。
的確 BERT有你上述說的問題 所以基於規則或基與統計的NLP檢索和生成方法
才是目前商用VCA的主流 但包含VCA及VPA等Chatbot應用 未來的研究與應用發展方向
無庸置疑是BERT等Transformer架構
推 sxy67230: open domain chatbot確實是跟任務導向的客服是不太一樣
Chatbot不一定是Open Domain，可以參考我寫的這篇《Chatbot的類型與對比》
http://www.lionethan.com/2020/01/chatbot%E7%9A%84%E9%A1%9E%E5%9E%8B
→ sxy67230: 的東西。不過Bert不代表無法應用到高流量上。即時性取決
→ sxy67230: 於你想應用的場域，不過就算是rule based 也很難做到ope
→ sxy67230: n domain ，目前普通商用客服的應用頂多就是過去值機系
→ sxy67230: 統的2.0版而已，商業上就是一堆人工建立問答檢索，搭配
→ sxy67230: 分類跟抽取，最多加上知識圖譜、情感分析。當然上述都是
→ sxy67230: 普通公司的應用。
→ sxy67230: 然後這邊確實很難有精彩的辯論，還是要去Reddit才比較
→ sxy67230: 有可能
推 jimmy55311: 推專業深度文 感謝大神分享經驗 這篇主要是講NLP未來
→ jimmy55311: 的方向吧 後續討論有點離題了
這篇主要是分享AI/Chatbot目前的難題 讓大家知道現有技術還不夠成熟
推 friends29: 好文推
謝謝 可能很多人對這個領域不熟悉 希望能帶給大家正確的觀念
※ 編輯: lion741205 (1.164.176.235 臺灣), 10/03/2020 15:42:45