资源整合

一、5 个值得在 2018 年关注的库

这个库和 Flask 类似,但是比它快很多,速度能在测试中达到每秒 36000 次请求。在2017年的 Star 增长数几乎是翻了一倍。Gotta go faster!

这个库相当于是环境管理和包管理二合一,由 Kenneth Reitz (Requests 的作者 )编写,现在移交给 Python 官方来维护,提供比 pip 体验更好的开发包管理。它的 Slogon 是Python Development Workflow for Humans,用来解决各种环境不一致、安装包的问题。

现在反爬虫技术越来越厉害,常见的请求 + 解析爬虫随着频率变大和前端开发的复杂化变得并不是那么奏效。Requestium 的好处是,结合了 Chrome 59 以后的 headless 无头特性(代替了 phantomjs)。虽然效率稍微低一点,但是稳,前端渲染的网页也可以爬取解析。是 Requests, Selenium 和 Parsel 的结合体。

二、Awesome Python中文版来啦!

三、python 之网络和邮件

果使用 ​ ​yagmail​​,发送一个带附件的邮件,只需要2行代码:

​psutil​​​ 是用来获取操作系统监控以及进程管理的,如果你正在写一个监控系统(或脚本),赶紧去试试。这么说吧,我曾经使用psutil把网易内部的一个监控模块,从 (1000+) 行重构到了(100+) 行。
我这里推荐的几个库,可能 ​​ ​yagmail​​​对最多人有用。而 ​ ​psutil​​​,对专业的人士最有用。如果你要写一个监控系统,不使用 ​ ​psutil​​​的话,只能直接去 ​ ​/proc​​​ 目录下读取想用的文件进行计算,或者执行 ​ ​iostat​​​、​ ​vmstat​​​、​ ​df​​​ 等 ​ ​linux​​​ 命令获取命令输出,不管哪一种方法,都要处理很多繁琐的细节。有了 ​ ​psutil​​ 以后,就轻松多了。贴段代码大家感受一下:

此外,使用越来越广泛的监控工具 glances(如果没用过,要不现在就是试试?),就是用 psutil 收集相关数据的。

如果你写爬虫,还在用 ​ ​XPath​​​ 解析 HTML,那赶紧用用 ​ ​BeautifulSoup​​​,比 ​ ​XPath​​​ 好用一百倍;如果你还在用正则表达式从 HTML 中获取内容,​ ​BeautifulSoup​​​ 能让你好用到哭。(补充:评论里大家都说 ​ ​XPath​​​ 更好用,难道是我思维方式和大家不一样?)
​​ ​BeautifulSoup​​​ 是用来解析 HTML 的,特点就是好用,有人吐槽 ​ ​BeautifulSoup​​​ 慢?我不在乎 ​ ​BeautifulSoup​​​ 比 ​ ​XPath​​​ 慢多少,我只知道,我的时间比机器的更宝贵。
例如,要找到页面中所有的 links,如下所示:

来源:知乎
版权归作者所有。商业转载请联系作者授权,非商业转载请注明出处。

[En]

The copyright belongs to the author. Commercial reprint please contact the author for authorization, non-commercial reprint please indicate the source.

有了BeautifulSoup以后,爬虫操作就变得特别简单了。脏活累活别人都帮忙做好了。

除了开源的库以外,还有些开源项目的 ​ ​DataStruct.py​​​ ​ ​helper.py​​​ ​ ​utils.py​​ 文件,也值得看一看。里面很多好东西,都是可以直接拿过来用的。

四、怎么样才算是精通 Python?

五、你写论文时发现了哪些神网站?

六、LaTeX笔记|基本功能(一)

七 完全云端运行:使用谷歌CoLaboratory训练神经网络

八、谷歌发布 TensorFlow 1.5,全面支持动态图机制和 TensorFlow Lite

探寻有趣之事!

Original: https://blog.51cto.com/u_15345348/5582420
Author: wx61276efd72203
Title: 资源整合

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/500701/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球