Pyhton能为视频地址解析做优化吗,pyhton能为视频解析,做了一个视频地址解析服务
Pyhton能为视频地址解析做优化吗,pyhton能为视频解析,做了一个视频地址解析服务
做了一个视频地址解析服务,传入各大网站的视频地址,返回视频源地址。需要实时抓页面爬取计算出视频真实地址。通常一个解析请求,服务器需要发送3-5次HTTP请求才可以得到最终结果并返回。正常情况下一次解析时间根据网络状况和对外请求次数在0.5s-3s不等(当然也有超时的)。
现在的情况是:使用uwsgi + gevent 50协程 x 4核,理论并发量是200,不过当瞬间量大的时候,经常一个解析过程需要10s甚至1min,请求队列经常占满,导致服务不可用了。
因为会有大量的对外请求,在日志中发现DNS会经常有错误,所以自己做了简单的DNS缓存;还分析了各大网站视频的时效时间,做了缓存在Redis上。
对于这种在实时服务中,需要大量对外请求的服务,有没有什么可以优化的地方?架构调整,服务器参数(优化TCP参数)等?
编橙之家文章,
相关内容
- Python相对路径的变化机制是什么?,python相对路径机制
- 请问BAE markdown==2.2.0添加发布不成功怎么办,markdown2.2
- 利用Python语言完成类似couchPotato工具,要做哪些准备工作
- Tornado在微信中的应用问题,信息排重写终止请求判断,
- Python2.5抓包停滞在循环中不清楚什么原因,python2.5不清
- 需要将markdown语法的字符串保存在数据库中可行吗,m
- Django图片上传中转服务器怎么实现,,有这样一个需求,
- 求gevent joinall结束整个协程并退出joinall的设置方法,
- Python编写一个顽固程序不能被删除,求大家给个思路,
- Python和Django纯新手,sever错误求指导,djangosever,https://c
评论关闭