admin 管理员组

文章数量: 1086873

python 实现多核 CPU 并行计算

1. 使用原因：

通常现有的计算机都包含多个 CPU 内核，然而，现实中运行程序时，通常仅用到单核 CPU，导致 CPU资源无法充分利用。因此，我们可以通过多核 CPU 并行计算来加快程序的运行。

2. 使用方法

2.1. 需要用到的功能函数
  • 获取 CPU的内核数量
cpu_num = multiprocessing.cpu_count()
  • 并行计算函数
proc = multiprocessing.Process(target=single_run, args=(digits, "parallel"))
proc.start()
proc.join()
2.2 范例程序
import numpy as np
import multiprocessing
from sklearn.manifold import TSNE
import timepath = "E:\\blog\\data\\MNIST50m\\"def single_run(digits, fold="1by1"):sum = 0for i in range(0,500000000):sum = sum+iprint("sum:",sum)def one_by_one():start_time = time.time()for i in range(0,12):single_run(digits=[], fold="1by1")end_time = time.time()print("one by one time:",end_time-start_time)def parallel():begin_time = time.time()n = 10  # 10procs = []n_cpu = multiprocessing.cpu_count()chunk_size = int(n / n_cpu)for i in range(0, n_cpu):min_i = chunk_size * iif i < n_cpu - 1:max_i = chunk_size * (i + 1)else:max_i = ndigits = []for digit in range(min_i, max_i):digits.append(digit)print("digits:",digits)print("CPU:",i)procs.append(multiprocessing.Process(target=single_run, args=(digits, "parallel")))for proc in procs:proc.start()for proc in procs:proc.join()end_time = time.time()print("parallel time: ", end_time - begin_time)if __name__ == '__main__':parallel()one_by_one()

本文标签： python 实现多核 CPU 并行计算

版权声明：本文标题：python 实现多核 CPU 并行计算 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1687036602a57295.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。