作者a5000ml (咖啡裡的海洋藍)
看板VideoCard
標題[分享] CUDA 程式設計(1) -- 簡介
時間Thu Sep 25 08:32:26 2008
剛好老師最近要我為 group 撰寫中文的教學文件，準備下學期教學弟妹們CUDA程式設計，所以順便 po 上來和大家分享，有什麼
疏漏之處，請各位大大不吝指正。
※ 引言 ※
從軟體設計角度來看，CUDA 寫作並不困難，困難之處在於如何最佳化，它需要了解不少硬體的細節。一般而言未最佳化的程式
在 GPGPU 上面執行，可以比傳統的 CPU 快上 5~10 倍，而最佳化過的程式，往往還能再增速 5~10 倍，達到 25~100 倍的效能。
CUDA 和傳統 C++ 最大的差異在於「平行化的程式設計」vs.「序列化的程式設計」，例如傳統上透過迴圈執行數千次的程式碼，
在 CUDA 上就可以將它拆解成數百個同時執行的執行緒，每個執行緒只執行十幾次而己，因此產生數十到數百倍的效能。
CUDA 是在傳統 C++ 的基礎上，加入一些延伸語法，以及輔助的函式庫，而形成的一種程式語言，一般而言只要熟悉 C 或 C++，
就很容易上手 (可能比 Java 容易上手，因為傳統 C/C++ 的函式庫都可以用)，編譯好的程式碼，也可以跟其它語言做不錯的聯結。
在接下來幾篇文章中，我們從簡單的軟體設計角度開始，介紹 CUDA 如何寫作，逐漸帶出硬體細節，然後介紹最佳化的一些技術。
※ 第一章CUDA程式如何執行 ※
◆ 名詞 ◆
主機 (host) ：插顯示卡那台PC。
裝置 (device)：顯示卡。
核心 (kernel)：在顯示卡上執行的程式碼區段。
◆ 執行流程 ◆
因為 GPGPU 屬於外部裝置(device)，其機器指令有別於傳統 CPU，所以程式核心(kernel) 必須經過特殊編譯後，在執行時期和所需的
資料由主機(host)送到裝置中，並在執行完成後，將結果資料傳回主機，流程如下。
主機(host) PC 裝置(device) 顯示卡
傳送資料到顯示卡記憶體中
(1) 主機記憶體 ------------------------------------------>> 顯示卡記憶體
傳送程式碼(kernel)到顯示卡
(2) 主機記憶體 ------------------------------------------>> 顯示卡記憶體
(3) 主機做其它的事 or 閒置
執行顯示卡中的程式(kernel)
傳回執行結果
(4) 主機記憶體 <<------------------------------------------ 顯示卡記憶體
實際上，CUDA 提供了很多 API 簡化這些流程，包括記憶體在兩者間的搬移，顯示卡記憶體的配置與釋放，kernel 設定、啟動與同步
等，所以上面的每一個步驟其實就是去叫用CUDA的函式而已。
◆ 編譯流程 ◆
簡易的編譯流程如下，只要先準備好副檔名為 .cu 的 CUDA 程式碼檔案，然後使用CUDA的編譯器 (nvcc) 來編譯即可，進階的編譯流程
以後再介紹。
nvcc
.cu 檔案 ----------> 可執行檔 or 目的檔
其中 .cu 檔案可以同時包含在 host 中執行的傳統 C++ 程式碼，以及在 GPGPU 中執行的 kernel 程式碼。
※ 後續章節 ※
◆ 第二章 CUDA 安裝 ◆
◆ 第三章 簡易 kernel 寫作 ◆
◆ 第四章 CUDA 的記憶體分類 ◆
◆ 第五章 CUDA 的函式種類 ◆
... (可能還會調整)
※ 名詞解釋 ※
(1) GPGPU (General purpose graphics processing units) 泛用圖形處理晶片
(2) host 主機：指插上顯示卡的那台機器。
(3) device 裝置：主機之外的其它單元，在這裡指顯示卡。
(4) kernel 核心：在GPGPU中執行的程式碼區段。
(5) API (Application Programming Interface) 程式設計介面，就是一組函式庫。
(6) nvcc : CUDA 的compiler，可到 nVidia 的官網免費下載
http://www.nvidia.com/object/cuda_get.html。
(7) .cu 檔案：CUDA的程式碼檔案，基本上是 .cpp 檔案的延伸，除了傳統C++程式碼之外，亦可包含kernel程式碼，透過 nvcc 編譯
成目的檔或可執行檔。
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 114.45.212.98
※ 編輯: a5000ml 來自: 114.45.212.98 (09/25 09:38)
推 vip82:PUSH PUSH!! 09/25 09:06
推 f7258:推長知識... 09/25 09:12
推 yayax:受用了~推! 09/25 09:34
推 VictorTom:對齊不了也要推.... 09/25 09:39
※ 編輯: a5000ml 來自: 114.45.212.98 (09/25 09:44)
推 killer2k:好酷 09/25 09:41
推 lavatar:推推... 09/25 10:17
推 finalhaven:可以請問是哪間學校在做的cuda研究嗎? 09/25 11:07
推 Gigabye:目前nVidia的驅動就是CUDA complier出來的嗎? 09/25 12:05
推 b24333666:這個可以拿來做專題喔 09/25 12:54
推 bewith:看板長知識 09/25 13:09
推 finalhaven:CUDA寫的程式歸CUDA，Dirver歸Driver，兩個是不一樣 09/25 13:18
→ finalhaven:光兩個程式定位就不同了... 09/25 13:18
推 kenru:我一直覺的CUDA很酷~ 09/25 13:25
→ cap0111:看不懂 end推 09/25 13:33
推 Gigabye:CUDA似乎偏向video & audio的encode 跟底層的driver不同? 09/25 13:40
→ Gigabye:有好多美國的名校有研究和教學CUDA 台灣哪所學校有阿? 09/25 13:59
推 hunterchung:好棒喔....好期待第二章! 09/25 14:03
推 finalhaven:CUDA是在Application Layer做Compile程式，而Dirver 09/25 14:11
→ finalhaven:是屬於較底層的程式，還要配合硬體位址做設計 09/25 14:12
推 Gigabye:Phat~~ f大了解的真多 想必是科班出身的吧^^ 09/25 15:12
推 athlun:我們專題本來也是打算做CUDA，不過被另一組搶先一步 09/25 18:56
→ athlun:順便提一下，美國UIUC有把完整的CUDA課程講義放上網 09/25 18:57
→ athlun:期待續文~ 09/25 18:58
推 finalhaven:請問樓上是哪間學校阿@@ 09/25 19:11
推 Gigabye:想學認真這門技術 我看只能到美國了 伊利諾香檳很優秀^^ 09/25 19:37
→ Gigabye: 學 09/25 19:37
推 athlun:我是清大的. 我們是做大學部專題,用CUDA協助EDA運算 09/25 22:53