python官网访问不了(python多线程访问网站)

1.python 多线程 访问网站

#python2

#coding=utf-8

import os,re,requests,sys,time,threading

reload(sys)

sys.setdefaultencoding('utf-8')

class Archives(object):

def __init__(self, url):

self.url = url

def save_html(self, text):

fn = '{}_{}'.format(int(time.time()), self.url.split('/')[-1])

dirname = 'htmls'

if not os.path.exists(dirname):

os.mkdir(dirname)

with open(os.path.join(dirname, fn), 'w') as f:

f.write(text)

def get_htmls(self):

try:

r = requests.get(self.url)

r.raise_for_status()

r.encoding = r.apparent_encoding

print 'get html from ', url

self.save_html(r.text)

except Exception,e:

print '爬取失败',e

def main(self):

thread = threading.Thread(target=self.get_htmls())

thread.start()

thread.join()

if __name__=='__main__':

start=time.time()

fn = sys.argv[1] if len(sys.argv)>1 else 'urls.txt'

with open(fn) as f:

s = f.readlines()

for url in set(s):

a=Archives(url.strip())

a.main()

end=time.time()

print end-start

python官网访问不了

转载请注明出处代码入门网 » python官网访问不了(python多线程访问网站)

资讯

python2.7字符串连接(在python中怎么连接变量和字符串)

阅读(23)

本文主要为您介绍python2.7字符串连接,内容包括在python语言中怎么连接变量和字符串,在Python2.7中的数据如何将字符型变量改为整型的变量呢?比爱问知,Python字符串分割问题<br/>形如&#39;022302120。假设你的变量也是str类型 直接用+号就

资讯

pythonC性能相差多少(Python和go语言哪个更好就业?)

阅读(26)

本文主要为您介绍pythonC性能相差多少,内容包括Python在科学计算中和C比较,性能差距大吗,Python在科学计算中和C比较,性能差距大吗,据说跳不影响板,C们看看PF和C板能力的差距前天遇到个C说起来现。首先楼主需求都没说,一句先说一下:GO能做的P

资讯

pythonc类型对比(python与C的区别)

阅读(19)

本文主要为您介绍pythonc类型对比,内容包括python与C的区别,学c和python哪个好,python与C的区别。python与C的区别如下。语言类型不同。Python是一种动态类型语言,又是强类型语言。它们确定一个变量的类型是在您第一次给它赋值的时

资讯

python轻量级rpc(Python并发编程之创建多线程的几种方法)

阅读(27)

本文主要为您介绍python轻量级rpc,内容包括Python并发编程之创建多线程的几种方法,Python相比Java,C++这些语言有什么优势,人工智能为什?,消息总线和活动系统渗透到Linux桌面是什?爱。Django: Py Web应用开发框架Diesel:基于Greenlet的事件I

资讯

python任务流程(中公优就业Python的课程流程是什么?)

阅读(21)

本文主要为您介绍python任务流程,内容包括中公优就业Python的课程流程是什么?,Python学习步骤如何安排,对编程零基础想学python编程,首先要学哪些?。Python课程分为五个主要阶段:第一阶段:Python核心编程Python语言基本介绍、常用标准模块、

资讯

python字符串流(python字符串格式化什么意思)

阅读(23)

本文主要为您介绍python字符串流,内容包括python2.7怎样将中文字符串转为字节流?,python字符串格式化什么意思,Python怎么从文件流读一个0结尾的字符串。在python中也有类似于c中的printf()的格式输出标记。在python中格式化输出字符串使用

资讯

pythoncc

阅读(18)

本文主要为您介绍pythoncc,内容包括Python和C++有何不同?,python与C的区别,python与C的区别。文件结构不同C++和Python在引用库的时候均需要将库import或者#include,但是在使用标准库的时候,Python不需要引入

资讯

python导出app(python怎么把软件打包出来)

阅读(18)

本文主要为您介绍python导出app,内容包括python怎么把软件打包出来,python能做手机软件吗?想自己自学编程,目的是写个简单的计算爱问,如何用python抓取js生成的数据?。Python是纯粹的自由软件,具有丰富和强大的库。能够把用其他语言制作的各

资讯

python3.1(如何在安装pip3以及第三方python库)

阅读(21)

本文主要为您介绍python3.1,内容包括如何在安装pip3以及第三方python库,python网络编程教程在哪里可以下载?,关于python软件版本的问题python不同版本中,是不是有些。在安装pip3以及第三方python库(for Mac)环境OS:10.12.3 (16D32) macOS Sie

资讯

python2.7爬虫项目(Python爬链接爬虫怎么写?)

阅读(24)

本文主要为您介绍python2.7爬虫项目,内容包括[Python2.7][爬虫][BeautifulSoup],如图,使用soup.find()查找到目,Python爬链接爬虫怎么写?,Python什么爬虫库好用?。python爬虫我们都知道是可以在网上任意搜索的脚本程序,主要是帮助我们再也不

资讯

python2.7字符串连接(在python中怎么连接变量和字符串)

阅读(23)

本文主要为您介绍python2.7字符串连接,内容包括在python语言中怎么连接变量和字符串,在Python2.7中的数据如何将字符型变量改为整型的变量呢?比爱问知,Python字符串分割问题<br/>形如&#39;022302120。假设你的变量也是str类型 直接用+号就

资讯

pythonC性能相差多少(Python和go语言哪个更好就业?)

阅读(26)

本文主要为您介绍pythonC性能相差多少,内容包括Python在科学计算中和C比较,性能差距大吗,Python在科学计算中和C比较,性能差距大吗,据说跳不影响板,C们看看PF和C板能力的差距前天遇到个C说起来现。首先楼主需求都没说,一句先说一下:GO能做的P

资讯

pythonc类型对比(python与C的区别)

阅读(19)

本文主要为您介绍pythonc类型对比,内容包括python与C的区别,学c和python哪个好,python与C的区别。python与C的区别如下。语言类型不同。Python是一种动态类型语言,又是强类型语言。它们确定一个变量的类型是在您第一次给它赋值的时

资讯

python轻量级rpc(Python并发编程之创建多线程的几种方法)

阅读(27)

本文主要为您介绍python轻量级rpc,内容包括Python并发编程之创建多线程的几种方法,Python相比Java,C++这些语言有什么优势,人工智能为什?,消息总线和活动系统渗透到Linux桌面是什?爱。Django: Py Web应用开发框架Diesel:基于Greenlet的事件I

资讯

python任务流程(中公优就业Python的课程流程是什么?)

阅读(21)

本文主要为您介绍python任务流程,内容包括中公优就业Python的课程流程是什么?,Python学习步骤如何安排,对编程零基础想学python编程,首先要学哪些?。Python课程分为五个主要阶段:第一阶段:Python核心编程Python语言基本介绍、常用标准模块、

资讯

python绘制cdf图(如何使用Python绘制饼图)

阅读(25)

本文主要为您介绍python绘制cdf图,内容包括如何绘制的matplotlib经验CDF在Python,如何绘制的matplotlib经验CDF在Python,运行python程序turtle画图,cmd的方式,画完成之后图?。01首先我们需要在Excel文件中准备好饼图的数据,如下图所示02接下

资讯

pythondefif

阅读(2)

本文主要为您介绍pythondefif,内容包括pythondef最后if==true为什么说true没定义,求Python二叉树的几个算法求几个二叉树的method!1)给?,请大家看看这个python程序,哪里错了def hanoi(n。二叉树算法,网上是比较多的; 可能按照你的需求不是很

资讯

数据挖掘python等

阅读(2)

本文主要为您介绍数据挖掘python等,内容包括数据挖掘方向,Python中还需要学习哪些内容,学数据挖掘,爬虫,筛选,分析处理等这些怎么学起,python数据挖掘培训去哪好?。老男孩教育Python课程内容:阶段一:Python开发基础 Python开发基础课程内容包

资讯

pythontoexe

阅读(2)

本文主要为您介绍pythontoexe,内容包括如何将python文件生成exe,python程序怎么用py2exe打包(其他软件也可以)pyth,今天学Python,照着书写了个HelloWorld,不知道要怎?。1。下载并安装py2exe(确认你下载的py2exe版本 和你电脑上装的python版