→ n3oanderson:send a msg signifying the end of the queue; then 10/23 22:20
謝謝大大的分享, 小弟目前已經幾乎要完成了,
但遇到一個問題, 就是當BlockingQueue裡面的東西都被取光,
就會一直block在那邊, thread2就不會結束, 一直hold在那邊,
也沒有辦法判斷時間是不是超過五分鐘, 要換檔!!
※ 引述《adrianshum (Alien)》之銘言：
: ※ 引述《tnsshnews (tnsshnews)》之銘言：
: : Dear all,
: : 小弟為Multithreading新手一位, 過去鮮少寫過多執行序的問題。
: : 目前程式執行需要三個執行序:
: : Thread-1: 持續監聽網路封包
: : Thread-2: 一有新封包接收到, 立刻寫入檔案
: : Thread-3: 每隔五分鐘產生一個新檔案(.bak), 任何新收到的封包,寫入最
: : 產生的檔案裡,
: : 等一個五分鐘的新檔案產生之後, 上一個檔案的.bak便取消掉
: : (.bak的目的是確保該檔案目前還未關閉)
: 這樣做不是不可以，只是個人覺得這三個動作未至於獨立到要分開
: thread做，單 thread 就可以寫得很有條理了。anyway, 後面繼續
: : 小弟目前做法是:
: : Thread-1: 每個幾秒鐘, 就詢問server, 是否有新封包, 如果有, 便一直塞入List中
: : Thread-2: 利用loop一直掃描Thread-1的List, BufferWriter寫入檔案, 並將以寫入
: : 檔案的資料從List刪除(確保List中資料都是未寫入檔案的)
: 建議避免這樣做 polling.
: Java 本身就有現成好用的 producer-consumer queue (BlockingQueue)
: : Thread-3: 每隔五分鐘產生新檔案(.bak), 並將五分鐘內接收的新資料寫入該檔案,
: : 下一個五分鐘產生新檔案時, 將上一個五分鐘產生的檔案改檔名
: : (取消.bak), 關閉BufferWriter指向,
: : 並將Thread-2的BufferWriter指向新的檔案(新的.bak)
: : 目前已經完成差不多, 但測試時發現多問題
: : 1. 如果一邊有新資料進來, 一邊又寫入檔案, 會不會造成非同步呢?
: : 目前我是將寫過的資料, 從List刪除, 這樣可確保留在List的資料都是尚未寫入的,
: : 但總覺得這樣寫很不漂亮!!
: 改用 blocking queue，效果就是：
: Thread 1 一直寫入新的 item
: Thread 2 一直從 queue 取得新的 item 寫進檔案。
: 看起來就整潔許多。
: 用 List 也差不多，只是你要小心 synchronize 的問題。
: 直接用 ArrayList你會死很慘
: : 2. 因為每五分鐘換一次檔案, 所以寫檔案的Thread, 不會關掉BufferWriter,
: : 但沒關掉
: : 就不能改檔名。目前機制是, 還沒有換檔前, 檔案一直會有新資料寫進來,
: : 因為產生的檔案是要給另一隻程式讀的, 為了避免另一隻程式不會讀到不
: : 完整的資料,
: : 所以採取這樣的手法, 但也覺得這樣不夠漂亮@@
: : 感激不盡!!
: 最基本的改法是加入適當的 synchronization control.
: 在寫檔時，改檔案的 thread 就乖乖等；改檔案時，就輪寫檔的
: thread 在等。
: 由於 Writer 或會丟棄，直接 synchronize writer 未必太適合，
: 可以弄一個 semaphore，或弄一個 dummy obj 作 mutex， 然後
: 寫檔前及改檔前就 lock
: 更進一步，為了讓程式更好維護，不妨把這部份包得好看一點，比如：
: class DataItemOutput {
: private Writer writer;
: publc synchronized void writeItem(DataItem item) {
: writer.write(item.toString());
: }
: public synchronized void rollFile() {
: writer.close();
: // .... 開新 writer, 刪舊檔 etc
: }
: }
: 這樣 thread 2 & 3 都變得很簡單:
: Thread2:
: while (!end) {
: DataItem item = dataItemQueue.take();
: dataItemOutput.writeItem(item);
: }
: Thread3:
: while (!end) {
: sleep(5 minutes);
: dataItemOutput.rollFile();
: }
: 再更一步，Thread3 可以用 TimerTask, ScheduledExecutorService 之類
: 然後再更進一步，你會發覺 roll file 的 thread 其實是多餘的。
: 只要你在 DataItemOutput.writeItem() 裡，檢查一下現在的 file
: 是什麼時候開，這五分鐘就開新並紀綠新時間，Thread3 根本就沒有
: 存在必要了：
: class DataItemOutput {
: private Writer writer;
: private Date fileTime;
: publc void writeItem(DataItem item) {
: if (currentTime > fileTime + 5minutes) {
: rollFile();
: }
: writer.write(item.toString());
: }
: public void rollFile() {
: writer.close();
: // .... 開新 writer, 刪舊檔 etc
: fileTime = currentTime;
: }
: }
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 203.79.199.63