Robots.txt file parser class.  Accepts a list of lines or robots.txt URL as
input, builds a set of rules from that list, then answers questions about
fetchability of other URLs.

Classes
		RobotFileParser   class RobotFileParser            __init__(self) can_fetch(self, useragent, url) using the parsed robots.txt decide if useragent can fetch url modified(self) mtime(self) parse(self, lines) parse the input lines from a robot.txt file read(self) set_url(self, url)

Functions
		_test()

Data
		__file__ = '/usr/lib/python1.6/robotparser.pyc' __name__ = 'robotparser'