Python对XML大文件数据去重什么方法好，pythonxml文件数据,目的：xml->mysq
Python对XML大文件数据去重什么方法好，pythonxml文件数据,目的：xml->mysq
目的：xml->mysql
困难：xml中可能存在重复数据，但xml文件有400+M
问题：如何去掉这些重复数据？
目前的想法：每次insert数据之前，把待插数据和表存数据进行比对，但感觉效率不高。
请教：有没有更好的办法？
才 400M 就算是大文件了么……
先做去重再导入数据呗。才400M的数据，拿个 dict 存需要去重的 key 就可以了。
编橙之家文章，
相关内容
- Python项目运行找不到模块问题，python模块,背景在subli
- 求Python正则匹配高手帮我查下源码问题在哪里，python源
- 请问Flask开发应用nginx与uwsgi应该如何部署，flasknginx,使
- 想调用pymysql返回值中varchar内容怎么写，pymysqlvarchar,m
- Python有与reinterpret_cast类同的机制吗，,嗯这里&ldquo
- 请python高手帮我看看这段python代码中函数setter的用意，
- apache运行webpy项目遇到换行符无故增加的恼人问题，a
- Pyramid框架对于Audit审计功能应用参考书箱有什么?，py
- python3版本 tkinter gui写出来的程序最小化到系统托盘，
- 为什么python在eclipse中执行os命令不能正常运行，python
评论关闭