Python参考手册

文件格式 | File Formats

robotparser

注意

robotparser模块已urllib.robotparser在Python 3中重命名。当将源代码转换为Python 3时，2to3工具将自动适应导入。

该模块提供了一个类，RobotFileParser它回答关于特定用户代理是否可以在发布该robots.txt文件的网站上获取URL的问题。有关robots.txt文件结构的更多详细信息，请参阅http://www.robotstxt.org/orig.html。

class robotparser.RobotFileParser(url='')

这个类提供了一些方法来读取，解析和回答有关urlrobots.txt文件的问题。

set_url(url)

设置引用robots.txt文件的URL 。

read()

读取robots.txtURL并将其提供给解析器。

parse(lines)

解析行参数。

can_fetch(useragent, url)

返回True是否允许useragent根据解析文件中包含的规则获取urlrobots.txt。

mtime()

返回robots.txt文件上次获取的时间。这对于需要robots.txt定期检查新文件的长时间运行的网络蜘蛛非常有用。

modified()

设置robots.txt文件上次获取到当前时间的时间。

以下示例演示了RobotFileParser类的基本用法。

>>> import robotparser
>>> rp = robotparser.RobotFileParser()
>>> rp.set_url("http://www.musi-cal.com/robots.txt")
>>> rp.read()
>>> rp.can_fetch("*", "http://www.musi-cal.com/cgi-bin/search?city=San+Francisco")
False
>>> rp.can_fetch("*", "http://www.musi-cal.com/")
True

文件格式 | File Formats相关

1.ConfigParser
2.csv
3.netrc
4.plistlib
5.xdrlib

Python

Python 是一种面向对象的解释型计算机程序设计语言，由荷兰人 Guido van Rossum 于1989年发明，第一个公开发行版发行于1991年。 Python 是纯粹的自由软件，源代码和解释器 CPython 遵循 GPL 协议。Python 语法简洁清晰，特色之一是强制用空白符（ white space ）作为语句缩进。

主页	https://www.python.org/
源码	https://github.com/python/cpython
版本	2.7
发布版本	2.7.13

Python目录

1.内置常量 \| Built-in Constants
2.内置例外 \| Built-in Exceptions
3.内置函数 \| Built-in Functions
4.内置类型 \| Built-in Types
5.编译器 \| Compiler
6.加密 \| Cryptography
7.数据压缩 \| Data Compression
8.数据持久性 \| Data Persistence
9.数据类型 \| Data Types
10.调试和分析 \| Debugging & Profiling
11.开发工具 \| Development Tools
12.文件和目录访问 \| File & Directory Access
13.文件格式 \| File Formats
14.构架 \| Frameworks
15.输入 \| Importing
16.输入/输出 \| Input/ouput
17.国际化 \| Internationalization
18.网络 \| Internet
19.网络数据 \| Internet Data
20.翻译 \| Interpreters
21.语言 \| Language
22.记录 \| Logging
23.Mac OS
24.MS Windows
25.多媒体 \| Multimedia
26.联网 \| Networking
27.数字与数学 \| Numeric & Mathematical
28.操作系统 \| Operating System
29.可选操作系统 \| Optional Operating System
30.限制执行 \| Restricted Execution
31.运行 \| Runtime
32.SGI IRIX
33.软件包装与分销 \| Software Packaging & Distribution
34.字符串 \| String
35.结构化标记 \| Structured Markup
36.Tk
37.Unix
38.Python 简介
39.Python pass 语句
40.Python 循环嵌套
41.Python 运算符
42.Python log10() 函数
43.Python log() 函数
44.Python floor() 函数
45.Python fabs() 函数
46.Python exp() 函数
47.Python cmp() 函数
48.Python ceil() 函数
49.Python abs() 函数
50.Python Number(数字)
51.Python pow() 函数
52.Python modf() 函数
53.Python min() 函数
54.Python max() 函数
55.Python asin() 函数
56.Python acos() 函数
57.Python uniform() 函数
58.Python shuffle() 函数
59.Python seed() 函数
60.Python random() 函数
61.Python randrange() 函数
62.Python choice() 函数
63.Python sqrt() 函数
64.Python round() 函数
65.Python radians() 函数
66.Python degrees() 函数
67.Python tan() 函数
68.Python sin() 函数
69.Python hypot() 函数
70.Python cos() 函数
71.Python atan2() 函数
72.Python atan() 函数
73.Python 元组
74.Python 列表(List)
75.Python 字符串
76.Python 字典(Dictionary)
77.Python 日期和时间
78.Python 函数
79.Python 模块
80.Python capitalize()方法
81.Python center()方法
82.Python count() 方法
83.Python expandtabs()方法
84.Python endswith()方法
85.Python encode()方法
86.Python decode()方法
87.Python find()方法
88.Python index()方法
89.Python 异常处理
90.Python isspace()方法
91.Python isnumeric()方法
92.Python islower()方法
93.Python isdigit()方法
94.Python isalpha()方法
95.Python isalnum()方法
96.Python isupper()方法
97.Python istitle()方法
98.Python min()方法
99.Python max()方法
100.Python maketrans()方法