GPU 的處理核心 SP 基于傳統的處理器核心設計，能夠進行整數，浮點計算，邏輯運算等操作，從硬體設計上看就是一種完全為多線程設計的處理核心，擁有復數的管線平臺設計，完全勝任每線程處理單指令的工作。

　　GPU 處理的首要目標是運算以及數據吞吐量，而 CPU 內部晶體管的首要目的是降低處理的延時以及保持管線繁忙，這也決定了 GPU 在密集型計算方面比起 CPU 來更有優勢。

　　GPU+CPU異構運算

　　就目前來看，GPU不是完全代替CPU，而是兩者分工合作。據海通證券：

　　在 GPU 計算中 CPU 和 GPU 之間是相連的，而且是一個異構的計算環境。這就意味著應用程序當中，順序執行這一部分的代碼是在 CPU 里面進行執行的，而并行的也就是計算密集這一部分是在 GPU 里面進行。

　　異構運算（heterogeneous computing）是通過使用計算機上的主要處理器，如CPU 以及 GPU 來讓程序得到更高的運算性能。一般來說，CPU 由于在分支處理以及隨機內存讀取方面有優勢，在處理串聯工作方面較強。在另一方面，GPU 由于其特殊的核心設計，在處理大量有浮點運算的并行運算時候有著天然的優勢。完全使用計算機性能實際上就是使用 CPU 來做串聯工作，而 GPU 負責并行運算，異構運算就是“使用合適的工具做合適的事情”。

　　只有很少的程序使用純粹的串聯或者并行的，大部分程序同時需要兩種運算形式。編譯器、文字處理軟件、瀏覽器、e-mail 客戶端等都是典型的串聯運算形式的程序。而視頻播放，視頻壓制，圖片處理，科學運算，物理模擬以及 3D 圖形處理（Ray tracing 及光柵化）這類型的應用就是典型的并行處理程序。

　　GPU的運用

　　正是因為GPU特別適合大規模并行運算的特點，因此，“GPU 在深度學習領域發揮著巨大的作用”。via 海通證券：

　　GPU可以平行處理大量瑣碎信息。深度學習所依賴的是神經系統網絡——與人類大腦神經高度相似的網絡——而這種網絡出現的目的，就是要在高速的狀態下分析海量的數據。例如，如果你想要教會這種網絡如何識別出貓的模樣，你就要給它提供無數多的貓的圖片。而這種工作，正是 GPU 芯片所擅長的事情。 而且相比于 CPU，GPU 的另一大優勢，就是它對能源的需求遠遠低于 CPU。GPU 擅長的是海量數據的快速處理。

　　深度學習令 NVIDIA 業績加速增長，利用 GPU 的大規模并行處理能力來學習人工智能算法再合適不過，GPU 并行計算能力正在滲透一個又一個高精尖行業，推動GPU 的需求不斷增長。移動端，不論是當前火熱的移動直播，還是移動 VR 設備，基于圖形處理的需求都在急劇爆發。目前移動市場的 GPU 還遠遠落后于 PC 端，市場被高通、ARM、imagination 等三大巨頭占據。

　　GPU的劣勢

　　不過，GPU也有不足之處。據浙商證券總結：

　　雖然GPU更擅長于類似圖像處理的并行計算，因為像素與像素之間相對獨立，GPU 提供大量的核，可以同時對很多像素進行并行處理。但是，這并不能帶來延遲的提升（而僅僅是處理吞吐量的提升）。比如，當一個消息到達時，雖然 GPU 有很多的核，但只能有其中一個核被用來處理當前這個消息，而且 GPU 核通常被設計為支持與圖像處理相關的運算，不如 CPU 通用。

　　GPU 主要適用于在數據層呈現很高的并行特性（data-parallelism）的應用，比如 GPU 比較適合用于類似蒙特卡羅模擬這樣的并行運算。

　　GPU 的另外一個問題是，它的“確定性”不如可編程的硅芯片FPGA，相對較容易產生計算錯誤。

　　TPU

　　TPU，即谷歌的張量處理器——Tensor Processing Unit。

　　據谷歌工程師Norm Jouppi介紹，TPU是一款為機器學習而定制的芯片，經過了專門深度機器學習方面的訓練，它有更高效能（每瓦計算能力）。大致上，相對于現在的處理器有7年的領先優勢，寬容度更高，每秒在芯片中可以擠出更多的操作時間，使用更復雜和強大的機器學習模型，將之更快的部署，用戶也會更加迅速地獲得更智能的結果。

　　谷歌專門為人工智能研發的TPU被疑將對GPU構成威脅。不過谷歌表示，其研發的TPU不會直接與英特爾或NVIDIA進行競爭。

　　據谷歌介紹，TPU已在谷歌的數據中心運行了一年多，表現非常好。谷歌的很多應用都用到了TPU，比如谷歌街景，以及AlphaGo等。

　　TPU最新的表現正是人工智能與人類頂級圍棋手的那場比賽。在AlphaGo戰勝李世石的系列賽中，TPU能讓AlphaGo“思考”更快，“想”到更多棋招、更好地預判局勢。