网站首页 > 文章中心 > 其它

python并行计算函数_Python 并行计算

作者:小编 更新时间:2023-09-02 07:43:43 浏览量:161人看过

送你八本Python神书,让你修成程序员神功!

而最近几年内容付费如火如荼,付费成了互联网经济的主流,我也很珍视自己的python电子书资源,眼下很多书在电商平台的电子版都是十几块一本, 现在我决定全部免费赠送给大家啦 .

本书内容

本书描述了Python程序的基本构件:类型、操作符、语句、函数、模块、类以及异常,介绍了更多高级主题,包括复杂的实例.

本书适合Python初学者,以及已经入门但想继续学习和提高自身Python技巧的程序员.

本书是一本Python入门书籍,适合对计算机了解不多,没有学过编程,但对编程感兴趣的读者学习使用.这本书以习题的方式引导读者一步一步学习编程,从简单的打印一直讲到完整项目的实现,让初学者从基础的编程技术入手,最终体验到软件开发的基本过程.

【技术大咖推荐】

python并行计算函数_Python 并行计算-图1

【本书特色】

【主要内容】

本书致力于帮助Python开发人员挖掘这门语言及相关程序库的优秀特性,避免重复劳动,同时写出简洁、流畅、易读、易维护,并且具有地道Python风格的代码.本书尤其深入探讨了Python语言的高级用法,涵盖数据结构、Python风格的对象、并行与并发,以及元编程等不同的方面.

本书适合中高级Python软件开发人员阅读参考.

本书适合任何想要通过Python学习编程的读者,尤其适合缺乏编程基础的初学者.通过阅读本书,读者将能利用强大的编程语言和工具,并且会体会到Python编程的快乐.

Python是一种解释型、面向对象、动态数据类型的高级程序设计语言.Python可以用于很多的领域,从科学计算到 游戏 开发.

python并行计算函数_Python 并行计算-图2

<>内容浅显易懂,示例轻松活泼,是国际畅销的Python初学者教程,适合对Python感兴趣的初级和中级读者学习参考.

python哪些标准库

标准库比较多 功能也不同:

标准库

sys

系统相关的参数和函数. sys 库一般用来访问和修改系统相关信息,比如查看 python 版本、系统环境变量、模块信息和 python 解释器相关信息等等.

os

操作系统接口模块.这个库提供了访问操作系统相关依赖的方式,比如输入输出操作、读写操作、操作系统异常错误信息、进程线程管理、文件管理、调度程序等等.

re

正则表达式操作.这个库是我喜欢并且经常会用到的库,在对大量字符串进行处理的时候用正则表达式是最快速有效的方式,但是正则表达式的学习曲线较高,有兴趣的朋友可以访问这个网站学习.

math

数学函数库. math 库提供了对 C 语言标准定义的数学函数访问,比如数论(Number-theoretic)的各种表示方法、幂和对数函数(Power and logarithmic functions)、三角函数(Trigonometric functions)、常量圆周率(n)和自然常数(e)等等.

random

生成伪随机数.

伪随机数与随机数(真随机数)不同的是执行环境,随机数是真实世界中通过物理过程实践得出结论,而伪随机数是通过计算机的特定算法生成的数,所以这个过程是可预测的、有规律的,只是循环周期较长,并不能与现实场景相切合.

random库提供生成随机数,可以模拟现实世界中随机取数、随机抽奖等等.

logging

日志记录工具.这个库提供了对应用程序和库函数的日志记录,日常开发中我们经常需要通过日志打印出当前程序的运行状态,实时查看可能出现的堆栈异常和错误信息.

json

Json 编码和解码器. json 库提供了对 json 数据的支持,日常开发中我们做前后端分离需要对传输数据 json 进行序列化和反序列化操作,以保证对数据的完整性和有效性,而序列化和反序列化其实就是编码和解码的过程.

pickle

Python 对象序列化库. pickle 库支持对 python 对象进行序列化和反序列化操作,当我们需要将处理好的对象保存到文件或数据库中时,就可以将其序列化成二进制数据,从而更好的保存起来.

shelve

Python 对象持久化.简单的数据存储方案.

socket

底层网络接口. socket(套接字) 库提供了标准的BSD(伯克利套接字) Socket API,可以通过访问底层操作系统 Socket 的相关接口进行网络通讯.

datetime

基本日期和时间类型库.该库提供了各种简单和复杂的方式处理日期和时间,日常我们会用时间测算时间消耗、复杂度,对存储的创建时间和修改时间也需要进一步说明,对计时器的描述和控制也需要用到该库.

hashlib

大家都知道无论算法生成的字符长度如何都有可能发生碰撞(被破解),这是不可避免的,所以具体场景具体情况而定.

configparser

配置文件解析器. configparser 库可以轻松定制配置文件,通过解析配置文件的信息我们就可以全局访问相关配置.

python并行计算函数_Python 并行计算-图3

urllib

URL 处理模块. urllib 库集成了处理 URLs(统一资源定位符)的各种模块:

itertools

为高效循环而创建迭代器的函数. itertools 库也是经常需要用到,当我们要对某些数进行 for-in 时就需要先将其处理成一个可迭代对象,之后我们才能进行遍历操作.

collections

容器数据类型库. collections 库提供了对所有容器数据类型的支持,包括 dict, list, set 和 tuple.我们可以用此库对不同数据类型进行操作,常有的函数方法有这些:

namedtuple() 创建命名元组子类的工厂函数 deque 类似列表(list)的容器,实现了在两端快速添加(append)和弹出(pop) ChainMap 类似字典(dict)的容器类,将多个映射集合到一个视图里面 Counter 字典的子类,提供了可哈希对象的计数功能 OrderedDict 字典的子类,保存了他们被添加的顺序 defaultdict 字典的子类,提供了一个工厂函数,为字典查询提供一个默认值 UserDict 封装了字典对象,简化了字典子类化 UserList 封装了列表对象,简化了列表子类化 UserString 封装了列表对象,简化了字符串子类化 functools

高阶函数和可调用对象上的操作.该库主要调用高阶函数,是常规函数的一种补充.目前库中包含以下几种函数:

cmp_to_key lru_cache total_ordering partial partialmethod reduce singledispatch update_wrapper wraps threading

线程并行库. threading 库支持线程和多线程的操作,针对多线程并发的问题可以给数据加同步锁,一次只能让一个线程处理数据,从而避免出现数据读写混乱.

在 CPython 解释器上,因为GIL(全局解释器锁)锁机制的存在的,被设计成线程安全,所以同一时间只能执行一个线程,这就导致了多线程不能发挥出计算机的多核特性.

multiprocessing

进程并行库. multiprocessing 库与 threading 库很类似,不同的是进程库可以创建子进程避开 GIL,从而弥补线程库存在的劣势和发挥计算机的多核特性.

timeit

测量小代码片段的执行时间.此库主要用来计算运行代码的时间消耗,支持多种方式传入参数.

atexit

退出处理器.当处理一个函数需要立马退出时可以使用该库.

abc

抽象基类. abc 库定义抽象基类,以便其他类派生出新类.比如 collections 容器库中就有此派生出的 collections.abc 类,派生出来的类可以进一步实现.

asyncio

异步IO库. asyncio 库是一个用 async/await 关键字编写并发的库,为多个异步框架提供基础功能,能够实现高性能的网络、Web服务器、数据库连接和分布式任务队列等.

copy

浅层和深层复制操作. copy 库提供对对象的拷贝,我们都知道要制作对象副本,是无法通过简单值传递创建新变量的方式做到,因为新变量所指向的内存空间依旧是原对象本身,所以对新变量进行任何操作都会改变原对象.那么, copy 库就提供了制作对象副本的各种方法,会开辟一个新的内存空间存放副本对象,修改操作不会对原对象有任何干预.

csv

csv(Comma Separated Values)文件读写库.此库支持以纯文本的形式存储表格数据(数字和文本).

operator

标准运算符替代函数库.此库是将 python 自有的运算符作为有效函数,比如表达式 x+y 可以用函数 operator.add(x, y) 表示;比如表达式 a*b 可以用函数 operator.mul(a, b) 表示,等等.

enum

枚举库. enum 库支持创建枚举类来存储大量同类型的不可变常量,以便其他函数调用.创建出来的枚举类是可迭代对象,所以可以用 for-in 枚举出所有常量.

heapq

堆队列算法.这个模块提供了堆队列算法的实现,也称为优先队列算法.优先队列中的每个元素都有各自的优先级,优先级最高的元素最先得到服务.所以当我们要求前n最大/最小值的时候就可以用此算法来实现, heapq 库中也提供了相应函数实现.

http

HTTP 模块. http 模块是一个包,收集了多个处理超文本传输协议的模块:

urllib.request http 模块通过 http.HTTPStatus 枚举定义了HTTP状态码 以及相关联消息.

profile、pstats

性能分析工具. profile 模块提供了 profile 和 cProfile 两种不同实现的性能分析工具,可用来描述程序各个部分的执行时间和频率,统计后的信息可以通过 pstats 模块保存并使用.

ssl

TLS/SSL(传输安全协议).此模块提供对安全协议的支持,通过应用上下文,可将 TLS(传输层安全性协议)或其前身 SSL(安全套接层)支持安全协议,能为互联网通信提供安全和数据完整性保障.一般 HTTPS 协议都支持 TLS/SSL 加密.

unitest

单元测试框架. unitest 库常用于单元测试,受到 JUnit 和其他主流测试库的启发, unitest 库的功能和函数与它们有着相似的风格.

uuid

希望可以帮助到你.

python--并行计算

python能够应用并行计算的模块有多个multiprocessing、pathos等.其中multiprocessing模块应用的较多,但对于数据挖掘场景来说,pathos模块更实用,尤其允许输入多个可变参数非常简单实用.

本文总结整理了常见的并行计算场景,编写parallel.py模块,主要利用pathos模块实现,可以实现单变量并行、多变量并行、并行嵌套等功能.通过tdqm模块增加了进度条,可以显示计算进度等信息,通过functools模块中的partial函数将静态参数冻结,以适应并行框架.

parallel.py

函数parallel的参数定义顺序需要注意: 必选参数--任意位置参数--默认参数--任意关键字参数 .

定义另一个parallel_main.py模块,用来展示各个场景下并行计算结果.

parallel_main.py

parallel函数使用注意点:

以上就是土嘎嘎小编为大家整理的python并行计算函数相关主题介绍,如果您觉得小编更新的文章只要能对粉丝们有用,就是我们最大的鼓励和动力,不要忘记讲本站分享给您身边的朋友哦!!

版权声明:倡导尊重与保护知识产权。未经许可,任何人不得复制、转载、或以其他方式使用本站《原创》内容,违者将追究其法律责任。本站文章内容,部分图片来源于网络,如有侵权,请联系我们修改或者删除处理。

编辑推荐

热门文章