[問題] UTF-8 Read / Write

[EdisonX (卡卡獸)]

開發平台(Platform): (Ex: Win10, Linux, ...) 

Visual Studio 2017 , Console C/C++

額外使用到的函數庫(Library Used): (Ex: OpenGL, ...) 


問題(Question)：


[Q1]

目前我收到的檔案，用記事本開、notepad++開，
一般 asci 是用 1 byte , 繁中、簡中(非常少數)是用 2 byte 存，
再用記事本去開，預設是用 utf-8 存 (非 asci)，且無 bom 檔頭 ,
所以我是否可以假設這份檔案是以 utf-8 方式存檔？

[Q2]

目前我嚐試過用 fopen / _wfopen 方式去開、讀檔 ,
也試過指定 ccs=UTF-8 方式去開 ,
再做簡單的 printf / wprintf , 不論怎麼改跑出來的一直都是亂碼 ,
最後嚐試用 char , 直接輸出到檔案去 , 神奇的事發生了

console 輸出是亂碼 , 檔案全都解得出來

去細節後 code 摘要如下


        FILE * fin = fopen(sfilename.c_str(), "rb,ccs=UTF-8");
        char * pBuf = (char *)malloc(filesize + 32);
        fread((void*)pBuf, 1, filesize, fin);
        pBuf[filesize] = 0;

        FILE * fout = fopen("output.txt", "w");
        pFind = pBuf;
        while (pFind = strstr(pFind, pszDesc)) {
                pFindNext = strstr(pFind + iDescLen, pszScore);
                if (pFindNext == NULL) break;
                *(pFindNext - 1) = 0;
                fprintf(stdout, "%s\n", pFind); \\ 亂碼
                fprintf(fout, "%s\n", pFind);   \\ 正常
                pFind = pFindNext + 1;
        }
        fclose(fout);
        free(pBuf);


請問是不是我誤會了什麼東西？
若要解析這種檔案, 請問我的方法正確嗎？


另若有版友建議直接加入 ATL CString 處理編碼的話也請告知
(乍看只換 CString 問題應該不會改善)

[Q3]

最後的問題是 , 這些截出來的字串會丟到簡易型 db,
之前碰過 sqlite , 但只用過 asci 編碼 , 查了下官網 ,
sqlite 應是支援 utf-8 , 請問這方面是否有人有過經驗能給些意見？
或是直接丟掉 sqlite , 有其他較簡易但字元編碼較佳的 sql lib ?


最後謝謝各位細心回覆，感激不盡。


--
就算把新鮮的肝拿回去，還是一樣寫碼到禿頭，加班到天亮，
永遠當老闆的傀儡   你是不是想這麼做？
是的話你就拿回去~  拿啊！！

九世宅男 : 下輩子不要再讓我幹工程師了 ~
                                          < Kuso 星爺語錄 >

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.177.72.2
※ 文章網址: https://www.ptt.cc/bbs/C_and_CPP/M.1521226295.A.2A0.html
→ EdisonX: 補註一下,我疑惑的其中一個點在於 , 之前用 char * 去接
→ EdisonX: 中文字, 在當時 (Win7/WinXp) 的 console 輸出是正常的
→ EdisonX: (VS2010),也不知道是不是和 VS2017 + Win10 環境相依 ?
→ Sanvean: Windows 的 console 使用 cp950(big5 like) 編碼
→ Sanvean: 如果你的 windows 是台灣版的話
→ Sanvean: 如果在 cmd 裡使用 type 指令印出 utf8 的內容，也是亂碼
→ EdisonX: 謝謝 Sanvean.
→ stucode: sqlite3 有支援 UTF-8 喔。也有提供 UTF-16 的 API。
→ stucode: 如果嘗試把 UTF-16 字串存進 UTF-8 資料庫的話，sqlite3
→ stucode: 會自動幫你做轉換。
→ stucode: （如果使用 UTF-16 的 API 的話）
→ EdisonX: 太棒了 , 謝謝 stucode
推 eye5002003: _wfopen只是可以讀windows下的非ansi檔名而已
→ eye5002003: _wfopen不關心檔案內的文字，想在windows的console
→ eye5002003: 正常輸出utf的話要使用WriteConsoleW這個windows API
→ eye5002003: 我的習慣是絕大部分情況下使用utf-8格式，有必要才去
→ eye5002003: 轉換成其他的萬國碼格式，自己轉換就不再需要去煩惱這
→ eye5002003: 些跟編碼有關的問題了