Re: [請益] 資料庫資料複製到雲端的問題(以推薦系統角度回答)

[lion741205 (獅子)]

※ 引述《qddcynthia (溫暖的大手)》之銘言：
: 之前面試時遇到的一個假設性問題：
: 公司Ａ的有POS, CRM等系統，想要導入公司Ｂ的即時推薦系統．如果是你公司Ｂ的
: 技術經理。把公司Ａ的資料複製到Ｂ公司準備好的雲端系統之前，你會想要先跟
: Ａ公司確認哪些東西？

如果非單純資料遷移，而是從推薦系統的角度來回答這個問題。

一個完整的推薦系統由三個部分組成：

1.行為紀錄模組：負責紀錄使用者行為
2.模型分析模組：負責分析使用者行為，以建立合適的模型來描述其偏好
3.推薦演算法模組：負責即時從項目集合中篩選出使用者偏好項目進行推薦，又可以分為
：
A.協同過濾（Collaborative Filtering）：搜尋一大群人，從中找到與我們品味相近的一
小群人；演算法會針對這些人偏好的其他內容進行計算，產生一個有序的推薦清單。可再
細分為基於使用者（User-based）或基於項目(Item-based)。
B.基於內容（Content-based）：不需要依賴使用者對項目的評價，而是依據使用者已經選
擇的項目內容計算使用者之間的相似度。
C.混合法（Hybrid Approaches）：擇優汰劣，結合以上兩種方法，可再細分為獨立系統
相互結合，或協同過濾系統加入基於內容法。

協同過濾法又可以分為兩類：
1.基於記憶（Memory-based）：根據系統中所有被評分的項目，得到使用者行為模型進行
預測。
2.基於模型（Model-based）：根據收集評分資料進行機器學習，得到使用者行為模型進
行預測。

推薦系統有三個典型的問題：
1.冷啟動（Cold Start）：如何對新使用者進行推薦或如何推薦新項目給使用者。
2.稀疏性（Sparsity）：在任何推薦系統中，已經評分的項目通常比需要推薦的項目數量
少很多，而導致精確度低落之問題。
3.可擴展性（Scalability）：面對日益增多的使用者，資料量急劇增加之問題。

------

基於上述內容，公司A的技術經理必須跟公司B確認：

1.在行為紀錄模組中，必須確認公司A提供的資料庫中，可用的使用者行為有哪些，例如
：評分、購買或瀏覽等。

2.在推薦演算法模組中，必須確認公司A想推薦的項目，適合採用協同過濾，或是基於內
容法：
 音樂、餐廳和電影：難以進行內容分析的項目，重視推薦新資訊，及發現使用者潛在偏
好等能力，適合採用協同過濾法。
 電子郵件及新聞：文本結構化、容易進行內容分析的項目，沒有使用者對項目的評分，
適合採用基於內容法。

3.在冷啟動問題中，必須確認公司A是否想對新使用者進行推薦，或是推薦新項目給使用
者及推薦非流行項目，並對為什麼推薦這些項目有深入了解的需求，若是則建議採用基於
內容法。

4.在稀疏性問題中，必須確認公司A提供的資料庫中，被使用的項目是否比需要推薦的項
目少很多，若是則建議採用基於內容法。

5.在可擴展性問題中，必須確認公司A提供的資料庫中，是否會因使用者日益增多，導致資
料量急遽增加，若會則建議採用基於項目相似度的協同過濾法或基於內容法，應避免使用
基於使用者相似度的協同過濾法，避免複雜度過高。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.44.53.172
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1549675420.A.A86.html
※ 編輯: lion741205 (114.44.53.172), 02/09/2019 10:14:41
推 bradyhau106: 我論文也做這個 推一個
推 LeOniD0728: 論文+1 推這篇
推 qddcynthia: NICE!
推 jass970991: 猛
推 rodndy666: 論文也做這個哈哈
推 ian90911: 推好文