Message Passing Interface(MPI)

一 定義 MPI和Openmp是常用的應用在CPU上的並行化框架。 MPI是一個跨語言的通訊協議，用於編寫並行計算機。支持點對點和廣播。MPI的目標是高性能，大規模性，和可移植性。MPI在今天仍爲高性能計算的主要模型。 特點： A partitioned address space 每個線程只能通過調用api去讀取非本地數據。所有的交互（Non-local Memory）都需要協同進行（握手）。

>>阅读原文<<