※ 引述《tnsshnews (tnsshnews)》之銘言:
: Dear all,
: 小弟為Multithreading新手一位, 過去鮮少寫過多執行序的問題。
: 目前程式執行需要三個執行序:
: Thread-1: 持續監聽網路封包
: Thread-2: 一有新封包接收到, 立刻寫入檔案
: Thread-3: 每隔五分鐘產生一個新檔案(.bak), 任何新收到的封包,寫入最
: 產生的檔案裡,
: 等一個五分鐘的新檔案產生之後, 上一個檔案的.bak便取消掉
: (.bak的目的是確保該檔案目前還未關閉)
這樣做不是不可以,只是個人覺得這三個動作未至於獨立到要分開
thread做,單 thread 就可以寫得很有條理了。anyway, 後面繼續
: 小弟目前做法是:
: Thread-1: 每個幾秒鐘, 就詢問server, 是否有新封包, 如果有, 便一直塞入List中
: Thread-2: 利用loop一直掃描Thread-1的List, BufferWriter寫入檔案, 並將以寫入
: 檔案的資料從List刪除(確保List中資料都是未寫入檔案的)
建議避免這樣做 polling.
Java 本身就有現成好用的 producer-consumer queue (BlockingQueue)
: Thread-3: 每隔五分鐘產生新檔案(.bak), 並將五分鐘內接收的新資料寫入該檔案,
: 下一個五分鐘產生新檔案時, 將上一個五分鐘產生的檔案改檔名
: (取消.bak), 關閉BufferWriter指向,
: 並將Thread-2的BufferWriter指向新的檔案(新的.bak)
: 目前已經完成差不多, 但測試時發現多問題
: 1. 如果一邊有新資料進來, 一邊又寫入檔案, 會不會造成非同步呢?
: 目前我是將寫過的資料, 從List刪除, 這樣可確保留在List的資料都是尚未寫入的,
: 但總覺得這樣寫很不漂亮!!
改用 blocking queue,效果就是:
Thread 1 一直寫入新的 item
Thread 2 一直從 queue 取得新的 item 寫進檔案。
看起來就整潔許多。
用 List 也差不多,只是你要小心 synchronize 的問題。
直接用 ArrayList你會死很慘
: 2. 因為每五分鐘換一次檔案, 所以寫檔案的Thread, 不會關掉BufferWriter,
: 但沒關掉
: 就不能改檔名。目前機制是, 還沒有換檔前, 檔案一直會有新資料寫進來,
: 因為產生的檔案是要給另一隻程式讀的, 為了避免另一隻程式不會讀到不
: 完整的資料,
: 所以採取這樣的手法, 但也覺得這樣不夠漂亮@@
: 感激不盡!!
最基本的改法是加入適當的 synchronization control.
在寫檔時,改檔案的 thread 就乖乖等;改檔案時,就輪寫檔的
thread 在等。
由於 Writer 或會丟棄,直接 synchronize writer 未必太適合,
可以弄一個 semaphore,或弄一個 dummy obj 作 mutex, 然後
寫檔前及改檔前就 lock
更進一步,為了讓程式更好維護,不妨把這部份包得好看一點,比如:
class DataItemOutput {
private Writer writer;
publc synchronized void writeItem(DataItem item) {
writer.write(item.toString());
}
public synchronized void rollFile() {
writer.close();
// .... 開新 writer, 刪舊檔 etc
}
}
這樣 thread 2 & 3 都變得很簡單:
Thread2:
while (!end) {
DataItem item = dataItemQueue.take();
dataItemOutput.writeItem(item);
}
Thread3:
while (!end) {
sleep(5 minutes);
dataItemOutput.rollFile();
}
再更一步,Thread3 可以用 TimerTask, ScheduledExecutorService 之類
然後再更進一步,你會發覺 roll file 的 thread 其實是多餘的。
只要你在 DataItemOutput.writeItem() 裡,檢查一下現在的 file
是什麼時候開,這五分鐘就開新並紀綠新時間,Thread3 根本就沒有
存在必要了:
class DataItemOutput {
private Writer writer;
private Date fileTime;
publc void writeItem(DataItem item) {
if (currentTime > fileTime + 5minutes) {
rollFile();
}
writer.write(item.toString());
}
public void rollFile() {
writer.close();
// .... 開新 writer, 刪舊檔 etc
fileTime = currentTime;
}
}
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 223.19.45.198