python中有许多内置函数,不像print那么广为人知,但它们却异常的强大,用好了可以大大提高代码效率.
①.、set()
当需要对一个列表进行去重操作的时候,set()函数就派上用场了.
用于创建一个集合,集合里的元素是无序且不重复的.集合对象创建后,还能使用并集、交集、差集功能.
对元组倒序操作：
使用参数：key,根据自定义规则,按字符串长度来排序：
根据自定义规则,对元组构成的列表进行排序：
map()会根据提供的函数,对指定的序列做映射,最终返回迭代器.也就是说map()函数会把序列里的每一个元素用指定的方法加工一遍,最终返回给你加工好的序列.举个例子,对列表里的每个数字作平方处理：
reduce()会对参数序列中元素进行累积.第第一段：第二个元素先进行函数操作,生成的结果再和第三个元素进行函数操作,以此类推,最终生成所有元素累积运算的结果.再举个例子,将字母连接成字符串.
filter()函数轻松完成了任务,它用于过滤序列,过滤掉不符合条件的元素,返回一个迭代器对象.filter()函数和map()、reduce()函数类似,都是将序列里的每个元素映射到函数,最终返回结果.我们再试试,如何从许多单词里挑出包含字母w的单词.
enumerate翻译过来是枚举、列举的意思,所以说enumerate()函数用于对序列里的元素进行顺序标注,返回(元素、索引)组成的迭代器.再举个例子说明,对字符串进行标注,返回每个字母和其索引.
而针对一些更加细致、专业化的建模分析需求,其实还是通过代码的方式去实现更加高效灵活.Tempo大数据分析平台正是考虑到广大专业数据分析人员的实际需求,专门开发了 【扩展编程】 这一功能模块,让自定义编程和平台中已有的节点结合使用,快速提高数据分析工作效率！
①.、Python洞察不直观 ,分析结果可读性低
我们常说"一图胜千言",对于数据分析工作来说更是如此.分析结果最终还是要直接赋能实际业务,由于Python代码行的形式让分析结果可读性极低,分析人员无法快速实现对数据的直观 探索 分析,导致整体工作效率的降低.
调试和分析是Python开发中非常重要的环节,但代码 校验报错结果难查看 的问题,让很多数据分析人员大伤脑筋.
尤其是现在很多企业数据分析项目是在自己的数据平台中进行的,分析人员只能把平台中的代码复制到第三方平台中进行校验,调试好后再粘贴回平台中运行,非常麻烦.
在一般的企业数据分析项目中,预先有可能会设置有多套Python环境,版本并不统一.这就会导致分析人员常常并不清楚自己当前使用的到底是哪一套Python环境,在编码时引用的Python包,在不同的Python环境上运行很有可能会出现缺失,引起代码执行报错,而且这种错误信息并不好排查,一旦报错只能从头再来,让程序员们白白做了无用功.
以往专业数据分析人员遇到以上问题,只能选择用更多的时间和精力去修复bug,那么在我们的Tempo大数据分析平台之中,又是如何解决这些问题,让 Python编程的应用 更简便、更高效、更适应企业实际需求呢?
①.、图形化洞察,快速 探索 数据价值
针对传统编码数据分析方式难以直观展示数据分析结果的缺点,Tempo大数据分析平台——扩展编程模块特别支持在代码区域设置 通过matplotlib/seabron等图形方法实现节点洞察 ,校验通过后,就可以直接在洞察区域中查看绘制的图形,比如：折线图、直方图、条形图、饼图等.
以后业务部门简单的可视化分析需求就可以直接在建模挖掘分析的同时快速产出,立等可取,无需再周转其他可视化分析工具,大大提高的数据价值变现的效率.
针对传统Python编程调试报错信息不好查看的问题, Tempo大数据分析平台—扩展编程模块中的控制台功能,可以 直接在指定区域中显示错误信息和代码中需要print的部分 ,便于使用者快速发现问题,立即调整代码.
除了帮助专业数据分析人员提高工作效率,控制台中的【示例】小模块还内置了常用的参考代码,可以帮助一些不太能熟练应用Python编程语言的小白用户,通过复用或小部分修改逻辑代码的方式,也能快速完成数据逻辑处理工作.用好这个功能,团队内部的技能培训也能更有章法了呢！
Python编程最怕丢包缺包问题,在Tempo大数据分析平台中,我们内置了Python环境版本和包版本的信息查询组件,分析人员在编码之前,可以预先查询一下当前的Python环境版本和包版本,如果发现有缺包就可以在编码工作开始之前补充安装,把"丢包缺包"造成的代码报错风险降到最低.
今天的Tempo小课堂中,小T主要给大家介绍了如何通过Python扩展编程的三个小功能,帮助代码偏好的专业数据分析人员减少不必要的麻烦操作,提高工作效率.
使用scapy、scapy_http就可以方便的对pcap包中的http数据包进行解析
#!/usr/bin/env python
try:
import scapy.all as scapy
except ImportError:
import scapy
# This import works from the project directory
import scapy_http.http
# If you installed this package via pip, you just need to execute this
from scapy.layers import http
for p in packets:
[python] view plain copy
#print p.show()
for f in p.payload.fields_desc:
if f.name == 'src' or f.name == 'dst':
ct = scapy.conf.color_theme
vcol = ct.field_value
fvalue = p.payload.getfieldval(f.name)
print "%s : %s" % (f.name, reprval)
for f in p.payload.payload.fields_desc:
if f.name == 'load':
其中,p为数据包,scapy_http将其分为：
Ethernet-TCP-RAW三个层次,
使用p.show()函数可以打印出如下结果：
###[ Ethernet ]###
###[ IP ]###
tos = 0x0
flags =
frag = 0L
proto = tcp
\options \
###[ Raw ]###
load = '.....'
第一层是网络层,包含源、目的mac、ip协议号,第二层是tcp层,第三层包含端口号、http报文
其中每一层均为上一层的payload成员