Python多线程读取文件进程读取到内容不全如何破,python多线程,本地文件内容为每行一个u
Python多线程读取文件进程读取到内容不全如何破,python多线程,本地文件内容为每行一个u
本地文件内容为每行一个url
python代码如下:
#!/usr/bin/env python# coding=utf8import requestsimport threadpool as tpnum = 200 urllist = open('./url.txt', 'r')def start(args): flag = 0 for url in urllist.readlines(): url = url.strip('\n') try: res = requests.get(url) except: print "[ERROR] [%s] %s\n" % (flag, url) continue flag += 1 print "[%s] %s : %s\n" % (flag, url, res.status_code)args = range(0, num)pool = tp.ThreadPool(num)reqs = tp.makeRequests(start, args)[pool.putRequest(req) for req in reqs]pool.wait()pool.dismissWorkers(num, do_join=True)print "Done.\n"
由于文件较大(200M左右),检查执行日志发现有时候进程读取到的每行内容不全。
有时候只读取到"http://xxx.com/",后面的部分就没有了,导致请求出错。
求大神指导。
这是一个很明显的多线程竞争问题。看了问题描述,感觉在多线程下处理起来很麻烦。
如果可以的话,建议用单线程解决最好。在我的电脑上,200M的文件,瞬间就读完了,没有延迟。
如果一定要用多线程,请追问(强烈不建议多线程解法)。
编橙之家文章,
相关内容
- Python有支持url发送指令控制服务器的方法吗,pythonurl
- 想使用redis和gevent完成实时消息系统求思路,redisgeven
- 要用python获取MySQL连接器如何写,pythonmysql,从MySQL官网上
- cookbook书中关于装饰器的源码里,这个参数是怎么传递的
- Python解决算法复杂度问题求助,python问题求助,问题是
- Python tornado分页合并展示问题,pythontornado,需要在用户输
- Python3二进制转化成字符串有什么好的解决办法吗,py
- python报错信息type 'exceptions.AttributeError'是什么意思,,
- Python可以做局域网线聊天类型的网站吗?,python局域网
- python3.3有哪些特别好用的模块,python3.3模块,python3.3对内
评论关闭