python获取当前网址(Python提取网页链接和标题)

1.Python提取网页链接和标题

方法1:BS版

简单写了个,只是爬链接的,加上标题老报错,暂时没看出来原因,先给你粘上来吧(方法2无问题)

from BeautifulSoup import BeautifulSoup

import urllib2

import re

def grabHref(url,localfile):

html = urllib2.urlopen(url).read()

html = unicode(html,'gb2312','ignore').encode('utf-8','ignore')

content = BeautifulSoup(html).findAll('a')

myfile = open(localfile,'w')

pat = re.compile(r'href="([^"]*)"')

pat2 = re.compile(r'/tools/')

for item in content:

h = pat.search(str(item))

href = h.group(1)

if pat2.search(href):

# s = BeautifulSoup(item)

# myfile.write(s.a.string)

# myfile.write('\r\n')

myfile.write(href)

myfile.write('\r\n')

# print s.a.sting

print href

myfile.close()

def main():

url = " = urllib2.urlopen(url).read()

html = unicode(html,'utf-8','ignore').encode('gb2312','ignore')

myfile = open('aHref.txt','w')

for x in find_re.findall(html):

if pat2.search(str(x)):

print >>myfile,x[0],x[1]

myfile.close()

print 'Done!'

2.python 如何获取url信息

window.location的 - 房产说明

哈希设置或获取href属性细分中的“#”后面的井号。

主机设置或获取主机名和端口号,地点或网址。

主机名设置或获取位置或URL的主机名部分。

的href设置或获取整个URL字符串。

路径名设置或指定文件名或路径。

端口设置或获取与端口号相关联的URL。 URL的

协议设置或获取协议部分。搜索列表设置或获取href属性部分后面的问号。

作为window.location.href设置或获取整个URL字符串。

3.python获取网页信息

首先你这个代码在我这里运行是ok的。

Expires: Tue, 27 Jan 2015 03:56:41 GMT

Date: Tue, 27 Jan 2015 03:55:21 GMT

Server: nginx

Content-Type: text/html; charset=GBK

Vary: Accept-Encoding,User-Agent,Accept

Cache-Control: max-age=80

X-Via: 1.1 czdx88:8105 (Cdn Cache Server V2.0), 1.1 dagang20:0 (Cdn Cache Server V2.0)

Connection: close

这个应该是请求错误,有多个可能:

1。你没有连接到网络上,无法访问这个地址

2。你使用了代理

3. 你一段时间内访问的太频繁,被对方的服务器拉入了黑名单。

你可以按照自己的情况排查一下。

如果解决了您的问题请采纳!

如果未解决请继续追问!

python获取当前网址

转载请注明出处代码入门网 » python获取当前网址(Python提取网页链接和标题)

资讯

安卓Python编辑器(手机有什么python编译器)

阅读(21)

本文主要为您介绍安卓Python编辑器,内容包括手机有什么python编译器,安卓上有好用的python编辑器吗,电脑上和手机上下载的Python编辑器有什么区别。现在越来越多人学习python,很多小伙伴都富有激情的,利用碎片化的时间都要学习,大家都知道pyht

资讯

python不可打印字符(python如何打印特殊字符)

阅读(17)

本文主要为您介绍python不可打印字符,内容包括Pythonprint无法输出中文字符,在Python中加不加print字符都会被打印出来有什么区别吗,python中使用print为什么没有打印。用字符串本身的replace方法复制代码代码如下:a.replace(word,python)输

资讯

linuxpython3路径(linux如何安装最新python3)

阅读(23)

本文主要为您介绍linuxpython3路径,内容包括安装python3怎么选择路径,怎么查找python3路径,怎么查找python3路径。首先,官网下载python3的所需版本。想下载到那个文件夹下就先进入到那个文件夹下cd /home/download二、然后,解压缩文件

资讯

python编译为dll(python有没有办法能够编译成DLL文件呢)

阅读(20)

本文主要为您介绍python编译为dll,内容包括python程序怎么编译成dll,python程序怎么编译成dll,python有没有办法能够编译成DLL文件。我在工作中就是用python些程序,再用c\c++封装掉 给同事调用的具体的做法是1. python 程序用 py2exe 打包(

资讯

python完全平方数(python判断一个数是不是完全平方数)

阅读(20)

本文主要为您介绍python完全平方数,内容包括python判断一个数是不是完全平方数,python判断一个数是不是完全平方数,python判断输入的数字是完全平方还是三次方。完全平方指用一个整数乘以自己例如1*1,2*2,3*3等,依此类推。若一个数能表示成

资讯

python表格倾斜矫正(如何在表格里添加倾斜线)

阅读(20)

本文主要为您介绍python表格倾斜矫正,内容包括表格歪了如何摆正,pythonmatplotlib绘曲线图时,把字倾斜,EXCEL中如何实现以下情况,让表格倾斜过来,字也是倾斜的搜狗。不知道你是指Word还是Excel。1.在 Word 中绘制斜线表头表头总是位于所选

资讯

pythonide推荐linux(Linux里面什么python编辑器比较好)

阅读(18)

本文主要为您介绍pythonide推荐linux,内容包括在linux下面做python程序开发,用什么ide好大家在用哪个工具,在linux下面做python程序开发,用什么ide好,基于python开发linuxGUI应用,哪个IDE比较好。学LINUX,首先要明确自己的方向,用LINUX做什么

资讯

pythonerror11001(python出现这个错误是什么原因)

阅读(17)

本文主要为您介绍pythonerror11001,内容包括python出现这个错误是什么原因,求助:错误代码11001:找不到主机,套接字错误11001怎么解决。搜集了一些python最重要的内建异常类名,并做了简单的介绍:AttributeError:属性错误,特性引用和赋值失败时会引

资讯

dockermysqlpython(如何进入启动的mysqldocker容器)

阅读(17)

本文主要为您介绍dockermysqlpython,内容包括怎样在Python中操作Docker容器,如何进入启动的mysqldocker容器,如何连接docker的mysql镜像。当我们的mysql 容器启动后,想要登陆mysql 的数据库怎么办。以下介绍几种方法, 其他容器的登陆也可以仿

资讯

安卓Python编辑器(手机有什么python编译器)

阅读(21)

本文主要为您介绍安卓Python编辑器,内容包括手机有什么python编译器,安卓上有好用的python编辑器吗,电脑上和手机上下载的Python编辑器有什么区别。现在越来越多人学习python,很多小伙伴都富有激情的,利用碎片化的时间都要学习,大家都知道pyht

资讯

python不可打印字符(python如何打印特殊字符)

阅读(17)

本文主要为您介绍python不可打印字符,内容包括Pythonprint无法输出中文字符,在Python中加不加print字符都会被打印出来有什么区别吗,python中使用print为什么没有打印。用字符串本身的replace方法复制代码代码如下:a.replace(word,python)输

资讯

linuxpython3路径(linux如何安装最新python3)

阅读(23)

本文主要为您介绍linuxpython3路径,内容包括安装python3怎么选择路径,怎么查找python3路径,怎么查找python3路径。首先,官网下载python3的所需版本。想下载到那个文件夹下就先进入到那个文件夹下cd /home/download二、然后,解压缩文件

资讯

python编译为dll(python有没有办法能够编译成DLL文件呢)

阅读(20)

本文主要为您介绍python编译为dll,内容包括python程序怎么编译成dll,python程序怎么编译成dll,python有没有办法能够编译成DLL文件。我在工作中就是用python些程序,再用c\c++封装掉 给同事调用的具体的做法是1. python 程序用 py2exe 打包(

资讯

python完全平方数(python判断一个数是不是完全平方数)

阅读(20)

本文主要为您介绍python完全平方数,内容包括python判断一个数是不是完全平方数,python判断一个数是不是完全平方数,python判断输入的数字是完全平方还是三次方。完全平方指用一个整数乘以自己例如1*1,2*2,3*3等,依此类推。若一个数能表示成

资讯

python表格倾斜矫正(如何在表格里添加倾斜线)

阅读(20)

本文主要为您介绍python表格倾斜矫正,内容包括表格歪了如何摆正,pythonmatplotlib绘曲线图时,把字倾斜,EXCEL中如何实现以下情况,让表格倾斜过来,字也是倾斜的搜狗。不知道你是指Word还是Excel。1.在 Word 中绘制斜线表头表头总是位于所选

资讯

python如何调用mysql(如何使用python连接mysql数据库)

阅读(27)

本文主要为您介绍python如何调用mysql,内容包括如何使用python连接mysql数据库,python怎么使用mysql数据库,如何使用python调用mysql存储过程。你可以访问Python数据库接口及API查看详细的支持数据库列表。不同的数据库你需要下载不同的DB

资讯

win32processpython(怎样使用python查询系统某一进程是否存在)

阅读(1)

本文主要为您介绍win32processpython,内容包括pythonwin32是什么?pythoncom如何理解,怎样使用python查询系统某一进程是否存在,怎样使用python查询系统某一进程是否存在。只需要一小段python代码,就可以解决用python查询判断系统进程是否存

资讯

python新建对象(python中怎么用类创建对象)

阅读(2)

本文主要为您介绍python新建对象,内容包括python中怎么用类创建对象,python如何定义新对象,python如何定义新对象。class BaseObject(object):def __init__(self, **kwg):self.__dict__ = d

资讯

pythonsslurllib(python报错urllib.error.URLError:)

阅读(1)

本文主要为您介绍pythonsslurllib,内容包括pythonurllib怎么用,pythonurllib,pythonhttplib2urllib区别。jango站点使用django_cas接入SSO(单点登录系统),配置完成后登录,抛出“urlopen error unknown ur

资讯

python变量替换(python中的变量替换怎么使用)

阅读(1)

本文主要为您介绍python变量替换,内容包括python中的变量替换怎么使用,Python怎样用变量替换字符串?,怎样通过参数替换python脚本里的变量值。1. 使用连接符: +world = "World"print "Hello " + world + " ! "2. 使用占位符来内插w

资讯

pythonraise用法(python中可以使用if作为变量名吗)

阅读(1)

本文主要为您介绍pythonraise用法,内容包括python中可以使用if作为变量名吗,Python新手,Python中except的用法和作用是什么?请指教,python当中的迭代器如何使用?举例说明,谢谢。不可以,if为python保留的字符下面的列表显示了在 Python 中的

资讯

sparkpythonhbase(有没有Python写的spark连接Hbase的例子)

阅读(2)

本文主要为您介绍sparkpythonhbase,内容包括有没有Python写的spark连接Hbase的例子,如何提高python写hbase的性能,spark读hbaseparquet哪个快。博主项目实践中,经常需要用Spark从Hbase中读取数据。其中,spark的版本为1.6,hbase的版本为0.98。

资讯

python文字编码转换(python如何将乱码转成汉字)

阅读(1)

本文主要为您介绍python文字编码转换,内容包括python字符编码转换,python如何将乱码转成汉字,python编码转换。python2与python3稍微有点区别2、python2中默认的字符编码格式都是unicode,在字符串前加u,表示unicode

资讯

python相除取整数(python为什么算除法自动取整了)

阅读(1)

本文主要为您介绍python相除取整数,内容包括python2.7.12中如何引用模块做整数相除,python2.7.12引用模块做整数除法,python除数向上取整怎么写,就是0.3取12.6取3这种,我5/10得到。在2.x版本都是这样,会自动取整。在3.x版本以上改了,结果保留