python中的BeautifulSoup使用小结，,1.安装pip in

python中的BeautifulSoup使用小结，,1.安装pip in

1.安装

pip install beautifulsoup4

2.代码文件中导入

from bs4 import BeautifulSoup

3.

4.

r = requests.get(‘http://www.baidu.com/‘)soup = BeautifulSoup(r.text, ‘html.parser‘)soup = BeautifulSoup(open(‘index.html‘))print soup.prettify()  #美化HTML代码显示

5.

Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象:

soup.headsoup.a#显示第一个同名标签soup.head.name #显示标签名称，这里输出‘head’soup.head.attrs  #显示标签的属性，以字典形式返回所有属性soup.head[‘class‘] #显示head标签的class属性值soup.head[‘class‘] = ‘newclass‘ #修改head标签class属性值为‘newclass’del soup.head[‘class‘] #删除head标签的class属性

soup.head.string  #获取标签内的正文内容，返回值类型为NavigableString

6.遍历

soup.body.contents[0]  #获取body标签的第一个子结点，contents是一个列表for child in soup.body.children:    print(child.string)     #children与contents一样，都获取全部直接子结点，只不过children是一个生成器，需遍历取出for child in soup.body.descendants:    print(child.string)    #递归遍历获取自身下面所有层级的所有节点，从最高一层列出然后下一层，直到最底层。for string in soup.body.children.strings:    print(repr(string))    #strings获取多个正文内容，需遍历取出，stripped_strings去掉每个字符串前后空格及空行，多余的空格或空行全部去掉，使用方法与strings一致soup.body.parent #获取父节点for parent in soup.head.title.string.parents:    print(parent.name)    #遍历上级节点路径，返回结果为title,head,html.next_sibling   #下一兄弟节点.previous_sibling  #上一兄弟节点.next_siblings #往下遍历所有兄弟节点.previous_siblings  #往上遍历所有兄弟节点.next_element   #下一节点，不分层级.previous_element    #上一节点，不分层级.next_elements    #往下顺序遍历所有节点，不分层级.previous_elements   #往上遍历所有节点，不分层级

7.搜索查找标签

find_all( name , attrs , recursive , text , **kwargs )#例：#（1）name参数soup.find_all(‘a‘)  #查找所有a标签soup.body.div.find_all(‘a‘)  #查找body下面第一个div中的所有a标签for tag in soup.find_all(re.compile(‘^b‘))；    print(tag.name)      #正则表达式查找所有以b开头的标签soup.find_all([‘a‘,‘b‘])  #列表查找，返回所有a标签和b标签soup.find_all(True)    #为True时，所有标签都满足搜索条件，返回所有标签#以下为自定义过滤条件，筛选满足自定义条件的标签def has_class_but_no_id(tag):return tag.has_attr(‘class‘) and not tag.has_attr(‘id‘)soup.find_all(has_class_but_no_id)  #返回所有具有class属性但无id属性的标签#（2）attrs参数，以标签属性搜索soup.find_all(id=‘nd2‘) #返回所有标签中属性id等于nd2的标签soup.find_all(href=re.compile("elsie"), id=‘link1‘)  #多个条件同时筛选，可用正则表达式soup.find_all("a", class_="sister") #属性中如果有python关键字，比如class属性，不可以直接class=‘sister‘,应加个下划线与python关键字区分class_=‘sister‘soup.find_all(attrs={"data-foo": "value"})#类似于html5中的data-foo属性不可直接写为soup.find_all(data-foo=‘value‘)，因为python命名规则中不允许有中划线（即横杠），应以字典形式传入attrs参数中，所有的属性搜索都可以使用这种方法#（3）text参数soup.find_all(text="Tillie") #搜索文档中的字符串内容为tillie，与name参数一样，可用列表、正则表达式等#（4）limit参数soup.find_all(‘a‘, limit=2) #返回搜索文档中前两个a标签，文档较大时可节约资源#（5）recursive参数soup.head.find_all("title", recursive=False)  #在head的直接子节点中搜索，默认为recursive=True，表示在所有子孙节点中搜索

find( name , attrs , recursive , text , **kwargs )#与find_all用法完全一致，区别在于find只返回第一个满足条件的结果，而find_all返回的是一个列表，需遍历操作

#以下方法参数用法与 find_all() 完全相同，下面只列出区别find_parents() find_parent()#find_all() 和 find() 只搜索当前节点的所有子节点,孙子节点等. find_parents() 和 find_parent() 用来搜索当前节点的父辈节点,搜索方法与普通tag的搜索方法相同,搜索文档搜索文档包含的内容find_next_siblings() find_next_sibling()#这2个方法通过 .next_siblings 属性对当 tag 的所有后面解析的兄弟 tag 节点进行迭代, find_next_siblings() 方法返回所有符合条件的后面的兄弟节点,find_next_sibling() 只返回符合条件的后面的第一个tag节点find_previous_siblings() find_previous_sibling()#这2个方法通过 .previous_siblings 属性对当前 tag 的前面解析的兄弟 tag 节点进行迭代, find_previous_siblings() 方法返回所有符合条件的前面的兄弟节点, find_previous_sibling() 方法返回第一个符合条件的前面的兄弟节点find_all_next() find_next()#这2个方法通过 .next_elements 属性对当前 tag 的之后的tag 和字符串进行迭代, find_all_next() 方法返回所有符合条件的节点, find_next() 方法返回第一个符合条件的节点find_all_previous() 和 find_previous()#这2个方法通过 .previous_elements 属性对当前节点前面的 tag 和字符串进行迭代, find_all_previous() 方法返回所有符合条件的节点, find_previous()方法返回第一个符合条件的节点

python中的BeautifulSoup使用小结