博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
采用python的pyquery引擎做网页爬虫,进行数据分析
阅读量:6278 次
发布时间:2019-06-22

本文共 1379 字,大约阅读时间需要 4 分钟。

python下的  pyquery  很给力的 !!!

pyquery 可以让你用jquery语法来对xml进行查询。这个API和jquery十分类似。如果利用lxml,pyquery对xml和html的操作将更加快速。

这个库并不是(至少还不是)一个可以和javascript互交的代码库。只是很喜欢jquery API并且在使用python的过程中,我真的很怀念jquery,所以我告诉我自己“让我们在python里面也使用jquery吧!”所以就有了这个库。

这个库可以有多种用途,比如我可以在将来用pyquery对纯http模板就行编辑,或者可以和Deliverance配套使用对样式进行操作.

这个项目现在基于mercurial开发,并用Bitbucket发布。我有权给任何想要审查代码的人权利。如果你想对代码进行贡献,给我电邮吧。

真心觉得比urllib2好用的多。

http://pypi.python.org/packages/source/p/pyquery/pyquery-0.3.tar.gz

解压缩

python setup.py install

就可以了,可能要安装ezsetup

现在的版本是0.3,还有一些jquery的东西没有实现,比如:radio,:password,以及一些ajax的功能,但是已经够用了,强烈推荐

>>> from pyquery import PyQuery as pq>>>d = pq("") #可以直接拼HTML可加载一段HTML字符串,或一个HTML文件,或是一个url地址>>>d = pq(url='http://ops.ruifengyun.com/') #也可以打开一个url>>> d('title') #取title元素[]html()和text() ——获取相应的HTML块或文本块>>> print d('title').text()ops 自动运维项目 监控,实时数据,集群管理根据HTML标签来获取元素>>> d('.s') #根据类名获取元素[
]注意:当获取到的元素不只一个时,html()、text()方法只返回首个元素的相应内容块>>> a = d('#sshcreate li:e(2)').find('a') #复杂点的选择器也是可以的,看来支持的不错>>> a.attr('href') #属性操作'http://monitor.ruifengyun.com/'

#coding=utf-8import urllibfrom pyquery import PyQueryres = urllib.urlopen('http://movie.douban.com/subject/2129132/').read()d = PyQuery(res)print "主演:"for starring in d("a[rel='v:starring']"):    print PyQuery(starring).text()

转载地址:http://rfyva.baihongyu.com/

你可能感兴趣的文章
高德开放平台开放源代码 鼓励开发者创新
查看>>
《高并发Oracle数据库系统的架构与设计》一2.5 索引维护
查看>>
《Exchange Server 2010 SP1/SP2管理实践》——2.4 部署外部网络环境
查看>>
Firefox 是 Pwn2own 2014 上攻陷次数最多的浏览器
查看>>
阿里感悟(十八)- 应届生Review
查看>>
《计算广告:互联网商业变现的市场与技术》一第一部分 在线广告市场与背景...
查看>>
话说模式匹配(5) for表达式中的模式匹配
查看>>
《锋利的SQL(第2版)》——1.7 常用函数
查看>>
《Arduino家居安全系统构建实战》——1.5 介绍用于机器学习的F
查看>>
jquery中hover()的用法。简单粗暴
查看>>
线程管理(六)等待线程的终结
查看>>
spring boot集成mongodb最简单版
查看>>
DELL EqualLogic PS存储数据恢复全过程整理
查看>>
《Node.js入门经典》一2.3 安装模块
查看>>
《Java 开发从入门到精通》—— 2.5 技术解惑
查看>>
Linux 性能诊断 perf使用指南
查看>>
实操分享:看看小白我如何第一次搭建阿里云windows服务器(Tomcat+Mysql)
查看>>
Sphinx 配置文件说明
查看>>
数据结构实践——顺序表应用
查看>>
python2.7 之centos7 安装 pip, Scrapy
查看>>