Python设置检查点的实现方法_源码,python源码,这篇文章和大家介绍一下关
Python设置检查点的实现方法_源码,python源码,这篇文章和大家介绍一下关
这篇文章和大家介绍一下关于Python设置检查点的实现方法源码,涉及Python设置检查点的相关技巧,需要的朋友可以参考如下代码:
检查点其实就是对过去历史的记录,可以认为是log.不过这里进行了简化.举例来说,我现在又一段文本.文本里放有一堆堆的链接地址。
现在的任务是下载那些地址中的内容,另外因为网络的问题或者网站的问题,每次下载可能不会非常的成功,有可能出现断链或者socket异常错误。
不过不管产生什么样的错误,我都希望我的程序能够一直跑下去。或者能停掉后,继续从为下载的链接处跑。
而不是从开始的地方跑,这个问题非常简单,因为这些链接是上下文无关的(上下文有关的情况要另外分析),所以我只要记录程序运行停止前的最后一条,就有希望能够延续前面的工作。这里实现中使用的是记录原有的链接,大家也可以使用计数器的方法来记录。
#Python设置检查点的实现方法代码下如:
注释: 这个异常是原文本内容中未出现检查点内容出现造成的
class CheckPointMissContentError: pass # 将文件读取指针fd移至到检查点对应的内容处 # check point 的规则为,读取文件一行或者多行,进行操作后,将此一行或多行送入 # 检查文件check_point中。以后再次运行程序,即可从该检查点处继续运行。 def GoCheckPoint(fd,check_point): if not os.path.isfile(check_point): f_check = open(check_point,'w') f_check.close() f_check = open(check_point,'r') lines = f_check.readlines() if len(lines) > 0: check_content = lines[-1] #找到检查点最后一行 check_content = check_content.strip(' \n\r') # go to check point while True: content = fd.readline() if content == '': # eof raise CheckPointMissContentError if content.strip(' \n\r') == check_content: break f_check.close()#关闭检查点
# 第二段的伪代码 def Download(downloadlist,sleep_time): if os.path.isfile(downloadlist): f = open(downloadlist) # check_point file name,这里为自动生成一个检查点文件 check_point = file[0:file.rfind('.')]+'_check.txt' Util.GoCheckPoint(f,check_point) #这就是上面代码中的GoCheckPoint函数 f_check = open(check_point,'a')# 以追加方式写入 try: while True: content = f.readline() if content == '': # eof break content = content.strip(' \n\r') if content != '': # has download url time.sleep(sleep_time) DownloadOper(path,url) #这里是伪代码..可以认为是urllib.request.retrieve()函数或者是urllib.request.urlopen()啥的 # 作为响应的操作后再将内容写入检查点文件 # www.iplaypy.com f_check.write(content+'\n') f_check.flush() # 必须的,否则会缓存,不会写入硬盘中 except : # 蹦个异常也不怕,以后再次按F5执行即可 raise Exception() return Util.FAILUR2000E # 这是我设置的常量,大家认为是0或者1就可以了 finally: f.close() f_check.close()# 关闭文件 print('Downloading is done........................') return Util.SUCCESS关于Python设置检查点方法与源码,编橙之家就先介绍到这里了。
编橙之家文章,
相关内容
- Python模拟用户自动登陆网易126邮箱源码详解,python126
- Python代码格式化CSS样式表文件源码分析,pythoncss,用Py
- Python代码实现二进制时钟的方法下载,python二进制,这是
- Python FMM算法的中文分词器实现方法源码,pythonfmm,这是
- Python3.2模拟webqq登录方法源代码分享下载,python3.2webq
- Python实现viterbi(维特比)算法原理流程是什么样的,pyt
- Python代码解决windows平台锁定鼠标键盘输入操作的方法,
- 用Python代码完成组合求解问题的案例,python案例,Pytho
- Python截屏工具函数方法源代码分享,python截屏,最近使用
- 用Python编写的一个计算生肖和星座的函数代码,python生
评论关闭