Python爬虫--网络编程，,Python 网络编

Python爬虫--网络编程，,Python 网络编

Python 网络编程

Python提供两个基本的Socket模块：

Socket，提供了标准的BSD Sockets APISocketServer, 提供了服务器中心类，可以简化网络服务器的开发

1、Socket类型
套接字格式为： socket(family, type[,protocall])，使用给定的地址族、套接字类型、协议类型（默认为0）创建套接字。

2、Socket函数

socket函数		描述
服务端socket函数
s.bind(address)	将套接字绑定到地址,?在AF_INET下,以元组（host,port）的形式表示地址.
s.listen(backlog)	开始监听TCP传入连接。backlog指定在拒绝连接之前，操作系统可以挂起的最大连接数量。该值至少为1，大部分应用程序设为5就可以了。
s.accept()	接受TCP连接并返回（conn,address）,其中conn是新的套接字对象，可以用来接收和发送数据。address是连接客户端的地址。
客户端socket函数
s.connect(address)	连接到address处的套接字。一般address的格式为元组（hostname,port），如果连接出错，返回socket.error错误。
s.connect_ex(adddress)	功能与connect(address)相同，但是成功返回0，失败返回errno的值。
公共socket函数
s.recv(bufsize[,flag])	接受TCP套接字的数据。数据以字符串形式返回，bufsize指定要接收的最大数据量。flag提供有关消息的其他信息，通常可以忽略。
s.send(string[,flag])	发送TCP数据。将string中的数据发送到连接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。
s.sendall(string[,flag])	完整发送TCP数据。将string中的数据发送到连接的套接字，但在返回之前会尝试发送所有数据。成功返回None，失败则抛出异常。
s.recvfrom(bufsize[.flag])	接受UDP套接字的数据。与recv()类似，但返回值是（data,address）。其中data是包含接收数据的字符串，address是发送数据的套接字地址。
s.sendto(string[,flag],address)	发送UDP数据。将数据发送到套接字，address是形式为（ipaddr，port）的元组，指定远程地址。返回值是发送的字节数。
s.close()	关闭套接字。
s.getpeername()	返回连接套接字的远程地址。返回值通常是元组（ipaddr,port）。
s.getsockname()	返回套接字自己的地址。通常是一个元组(ipaddr,port)
s.setsockopt(level,optname,value)	设置给定套接字选项的值。
s.getsockopt(level,optname[.buflen])	返回套接字选项的值。
s.settimeout(timeout)	设置套接字操作的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。一般，超时期应该在刚创建套接字时设置，因为它们可能用于连接的操作（如connect()）
s.gettimeout()	返回当前超时期的值，单位是秒，如果没有设置超时期，则返回None。
s.fileno()	返回套接字的文件描述符。
s.setblocking(flag)	如果flag为0，则将套接字设为非阻塞模式，否则将套接字设为阻塞模式（默认值）。非阻塞模式下，如果调用recv()没有发现任何数据，或send()调用无法立即发送数据，那么将引起socket.error异常。
s.makefile()	创建一个与该套接字相关连的文件

TCP编程

服务端

创建Socket，绑定Socket到本地IP和端口开始监听连接进入循环，不断接收客户端的连接请求接收传来的数据，并发送给对方数据、传输完毕后，关闭Socket

# coding=utf8"""1. 创建Socket，绑定Socket到本地IP和端口2. 开始监听连接3. 进入循环，不断接收客户端的连接请求4. 接收传来的数据，并发送给对方数据5. 传输完毕后，关闭Socket"""import socketimport threadingimport timedef dealClient(sock, addr):    # 4. 接收传来的数据，并发送给对方数据    print 'Accept new connection from %s:%s...' % addr    sock.send(b'Hello, I am server!')    while True:        data = sock.recv(1024)        time.sleep(1)        if not data or data.decode('utf-8') == 'exit':            break        print '-->>%s!' % data.decode('utf-8')        sock.send('Loop_Msg: %s!' % data.decode('utf-8').encode('utf-8'))    # 5. 传输完毕后，关闭Socket    sock.close()    print 'Connection from %s:%s closed.' % addrif __name__ == '__main__':    # 1. 创建Socket，绑定Socket到本地IP和端口    s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)    s.bind(('127.0.0.1',9999))    # 2. 开始监听连接    s.listen(5) # listen(n)传入的值, n表示的是服务器拒绝(超过限制数量的)连接之前，操作系统可以挂起的最大连接数量。n也可以看作是"排队的数量"    print 'Waiting for connection...'    # 3. 进入循环，不断接收客户端的连接请求    while True:        sock, addr = s.accept()        t = threading.Thread(target=dealClient, args=(sock, addr))        t.start()

客户端

创建Socket，连接远端地址连接后发送数据和接收数据传输完毕后，关闭Socket

# coding=utf8"""1. 创建Socket，连接远端地址2. 连接后发送数据和接收数据3. 传输完毕后，关闭Socket"""import sockets = socket.socket(socket.AF_INET, socket.SOCK_STREAM)s.connect(('127.0.0.1', 9999))print '-->>'+s.recv(1024).decode('utf-8')s.send(b'Hello I am a client')print '-->>'+s.recv(1024).decode('utf-8')s.send(b'exit')s.close()

Python爬虫--网络编程