Python实践:提取文章摘要,python提取文章摘要, 一篇文章的内容可以是纯
Python实践:提取文章摘要,python提取文章摘要, 一篇文章的内容可以是纯
- 一、概述
- 二、纯文本摘要
- 三、HTML摘要
一、概述
在博客系统的文章列表中,为了更有效地呈现文章内容,从而让读者更有针对性地选择阅读,通常会同时提供文章的标题和摘要。
一篇文章的内容可以是纯文本格式的,但在网络盛行的当今,更多是HTML格式的。无论是哪种格式,摘要 一般都是文章 开头部分 的内容,可以按照指定的 字数 来提取。
二、纯文本摘要
纯文本文档 就是一个长字符串,很容易实现对它的摘要提取:
Python#!/usr/bin/env python # -*- coding: utf-8 -*- """Get a summary of the TEXT-format document""" def get_summary(text, count): u"""Get the first `count` characters from `text` >>> text = u'Welcome 这是一篇关于Python的文章' >>> get_summary(text, 12) == u'Welcome 这是一篇' True """ assert(isinstance(text, unicode)) return text[0:count] if __name__ == '__main__': import doctest doctest.testmod()
三、HTML摘要
HTML文档 中包含大量标记符(如<h1>、<p>、<a>等等),这些字符都是标记指令,并且通常是成对出现的,简单的文本截取会破坏HTML的文档结构,进而导致摘要在浏览器中显示不当。
在遵循HTML文档结构的同时,又要对内容进行截取,就需要解析HTML文档。在Python中,可以借助标准库 HTMLParser 来完成。
一个最简单的摘要提取功能,是忽略HTML标记符而只提取标记内部的原生文本。如果您不明白我说的意思,可以看看 博客园 的摘要功能,以下就是类似该功能的Python实现:
Python#!/usr/bin/env python # -*- coding: utf-8 -*- """Get a raw summary of the HTML-format document""" from HTMLParser import HTMLParser class SummaryHTMLParser(HTMLParser): """Parse HTML text to get a summary >>> text = u'Hi guys:This is a example using SummaryHTMLParser.' >>> parser = SummaryHTMLParser(10) >>> parser.feed(text) >>> parser.get_summary(u'...') u'Higuys:Thi...' """ def __init__(self, count): HTMLParser.__init__(self) self.count = count self.summary = u'' def feed(self, data): """Only accept unicode `data`""" assert(isinstance(data, unicode)) HTMLParser.feed(self, data) def handle_data(self, data): more = self.count - len(self.summary) if more > 0: # Remove possible whitespaces in `data` data_without_whitespace = u''.join(data.split()) self.summary += data_without_whitespace[0:more] def get_summary(self, suffix=u'', wrapper=u'p'): return u'{1}{2}{0}>'.format(wrapper, self.summary, suffix) if __name__ == '__main__': import doctest doctest.testmod()
========== 更新 ==========
HTMLParser(或者 BeautifulSoup 等等)更适合完成复杂的HTML摘要提取功能,对于上述简单的HTML摘要提取功能,其实有更简洁的实现方案(相比 SummaryHTMLParser
而言):
Python
#!/usr/bin/env python # -*- coding: utf-8 -*- """Get a raw summary of the HTML-format document""" import re def get_summary(text, count, suffix=u'', wrapper=u'p'): """A simpler implementation (vs `SummaryHTMLParser`). >>> text = u'Hi guys:This is a example using SummaryHTMLParser.' >>> get_summary(text, 10, u'...') u'Higuys:Thi...' """ assert(isinstance(text, unicode)) summary = re.sub(r'', u'', text) # key difference: use regex summary = u''.join(summary.split())[0:count] return u'{1}{2}{0}>'.format(wrapper, summary, suffix) if __name__ == '__main__': import doctest doctest.testmod()
相关内容
- Python实践:模块自动重载,python模块重载,开发过程中修
- 如何使用 50 行 Python 代码制作一个计算器,python计算器
- 70 行 Python 代码编写一个递归下降解析器,python递归,然
- 使用 Python 生成基于马尔可夫链的伪随机文本,python马
- Python 中的贪婪排名算法,python排名算法, 对于我所完成
- Python 基于协同过滤的推荐,Python协同过滤,利用这些分
- Python验证码识别处理实例,python验证码实例,(就上面的
- Python中如何写控制台进度条的整理,python控制台,分享给
- 随机迷宫生成算法,迷宫算法,游戏地址和对应的开源项
- Python实现同时兼容老版和新版Socket协议的一个简单Web
评论关闭