虽然硬件器件及其内核旨在提供潜在的并行化，但必须合理设计软件应用以利用这种潜在的并行化。
软件应用中的并行化表示主机应用程序执行下列操作的能力：
- 在器件内核运行时，最大程度减少空闲时间并执行其他任务。
- 使器件内核保持处于活动状态，以便尽早并尽量频繁执行新计算。
- 最优化往来器件的数据传输。
图 1. 软件最优化目标
以工厂和组装线为例，主机应用就像是企业总部，始终忙于规划下一代产品，而工厂则负责制造当代产品。
同样，总部必须协调货物往返工厂的运输并将其需求发送给工厂。如果物流部门不给工厂发送原材料或用于创建产品的蓝图，那么建造这么多工厂有什么意义呢？