robotparser
index
/usr/lib/python1.6/robotparser.py


Robots.txt file parser class.  Accepts a list of lines or robots.txt URL as
input, builds a set of rules from that list, then answers questions about
fetchability of other URLs.

 
Classes
            
RobotFileParser

 
class RobotFileParser
       
  
__init__(self)
can_fetch(self, useragent, url)
using the parsed robots.txt decide if useragent can fetch url
modified(self)
mtime(self)
parse(self, lines)
parse the input lines from a robot.txt file
read(self)
set_url(self, url)

 
Functions
            
_test()

 
Data
             __file__ = '/usr/lib/python1.6/robotparser.pyc'
__name__ = 'robotparser'