An extensible library for opening URLs using a variety of protocols
 
The simplest way to use this module is to call the urlopen function,
which accepts a string containing a URL or a Request object (described 
below).  It opens the URL and returns the results as file-like
object; the returned object has some extra methods described below.
 
The OpenerDirectory manages a collection of Handler objects that do
all the actual work.  Each Handler implements a particular protocol or 
option.  The OpenerDirector is a composite object that invokes the
Handlers needed to open the requested URL.  For example, the
HTTPHandler performs HTTP GET and POST requests and deals with
non-error returns.  The HTTPRedirectHandler automatically deals with
HTTP 301 & 302 redirect errors, and the HTTPDigestAuthHandler deals
with digest authentication.
 
urlopen(url, data=None) -- basic usage is that same as original
urllib.  pass the url and optionally data to post to an HTTP URL, and
get a file-like object back.  One difference is that you can also pass 
a Request instance instead of URL.  Raises a URLError (subclass of
IOError); for HTTP errors, raises an HTTPError, which can also be
treated as a valid response.
 
build_opener -- function that creates a new OpenerDirector instance.
will install the default handlers.  accepts one or more Handlers as
arguments, either instances or Handler classes that it will
instantiate.  if one of the argument is a subclass of the default
handler, the argument will be installed instead of the default.
 
install_opener -- installs a new opener as the default opener.
 
objects of interest:
OpenerDirector --
 
Request -- an object that encapsulates the state of a request.  the
state can be a simple as the URL.  it can also include extra HTTP
headers, e.g. a User-Agent.
 
BaseHandler --
 
exceptions:
URLError-- a subclass of IOError, individual protocols have their own
specific subclass
 
HTTPError-- also a valid HTTP response, so you can treat an HTTP error 
as an exceptional event or valid response
 
internals:
BaseHandler and parent
_call_chain conventions
 
Example usage:
 
import urllib2
 
# set up authentication info
authinfo = urllib2.HTTPBasicAuthHandler()
authinfo.add_password('realm', 'host', 'username', 'password')
 
# build a new opener that adds authentication and caching FTP handlers 
opener = urllib2.build_opener(authinfo, urllib2.CacheFTPHandler)
 
# install it
urllib2.install_opener(opener)
 
f = urllib2.urlopen('http://www.python.org/')

Modules
		UserDict base64 ftplib gopherlib httplib md5 mimetools mimetypes os re sha socket string sys time types urlparse

Classes
		BaseHandler CustomProxyHandler FTPHandler CacheFTPHandler FileHandler GopherHandler HTTPBasicAuthHandler HTTPDefaultErrorHandler HTTPDigestAuthHandler HTTPHandler HTTPRedirectHandler ProxyHandler UnknownHandler CustomProxy HTTPPasswordMgr exceptions.IOError(exceptions.EnvironmentError) URLError GopherError HTTPError(URLError, urllib.addinfourl) OpenerDirector OpenerFactory Request   class BaseHandler            add_parent(self, parent) close(self)   class CacheFTPHandler(FTPHandler)            __init__(self) # XXX would be nice to have pluggable cache strategies # XXX this stuff is definitely not thread safe add_parent(self, parent) from BaseHandler check_cache(self) close(self) from BaseHandler connect_ftp(self, user, passwd, host, port, dirs) ftp_open(self, req) from FTPHandler setMaxConns(self, m) setTimeout(self, t)   class CustomProxy       # feature suggested by Duncan Booth # XXX custom is not a good name      __init__(self, proto, func=None, proxy_addr=None) # either pass a function to the constructor or override handle get_proxy(self) handle(self, req)   class CustomProxyHandler(BaseHandler)            __init__(self, *proxies) add_parent(self, parent) from BaseHandler add_proxy(self, cpo) close(self) from BaseHandler do_proxy(self, p, req) proxy_open(self, req)   class FTPHandler(BaseHandler)            add_parent(self, parent) from BaseHandler close(self) from BaseHandler connect_ftp(self, user, passwd, host, port, dirs) ftp_open(self, req)   class FileHandler(BaseHandler)            add_parent(self, parent) from BaseHandler close(self) from BaseHandler file_open(self, req) # Use local file or FTP depending on form of URL get_names(self) open_local_file(self, req) # not entirely sure what the rules are here   class GopherError(URLError)            __getitem__(self, i) from exceptions.Exception __init__(self, reason) from URLError __str__(self) from URLError   class GopherHandler(BaseHandler)            add_parent(self, parent) from BaseHandler close(self) from BaseHandler gopher_open(self, req)   class HTTPBasicAuthHandler(BaseHandler)            __init__(self) add_parent(self, parent) from BaseHandler close(self) from BaseHandler http_error_401(self, req, fp, code, msg, headers) retry_http_basic_auth(self, req, realm)   class HTTPDefaultErrorHandler(BaseHandler)            add_parent(self, parent) from BaseHandler close(self) from BaseHandler http_error_default(self, req, fp, code, msg, hdrs)   class HTTPDigestAuthHandler(BaseHandler)       An authentication protocol defined by RFC 2069   Digest authentication improves on basic authentication because it does not transmit passwords in the clear.      __init__(self) add_parent(self, parent) from BaseHandler close(self) from BaseHandler get_algorithm_impls(self, algorithm) get_authorization(self, req, chal) get_entity_digest(self, data, chal) http_error_401(self, req, fp, code, msg, headers) retry_http_digest_auth(self, req, auth)   class HTTPError(URLError, urllib.addinfourl)       Raised when HTTP error occurs, but also acts like non-error return      __del__(self) __getitem__(self, i) from exceptions.Exception __init__(self, url, code, msg, hdrs, fp) __repr__(self) from urllib.addbase __str__(self) close(self) from urllib.addbase geturl(self) from urllib.addinfourl info(self) from urllib.addinfourl   class HTTPHandler(BaseHandler)            add_parent(self, parent) from BaseHandler close(self) from BaseHandler http_open(self, req)   class HTTPPasswordMgr            __init__(self) add_password(self, realm, uri, user, passwd) find_user_password(self, realm, authuri) is_suburi(self, base, test) Check if test is below base in a URI tree   Both args must be URIs in reduced form. reduce_uri(self, uri) Accept netloc or URI and extract only the netloc and path   class HTTPRedirectHandler(BaseHandler)            add_parent(self, parent) from BaseHandler close(self) from BaseHandler http_error_301 = http_error_302(self, req, fp, code, msg, headers) http_error_302(self, req, fp, code, msg, headers) # Implementation note: To avoid the server sending us into an # infinite loop, the request object needs to track what URLs we # have already seen.  Do this by adding a handler-specific # attribute to the Request object.   class OpenerDirector            __del__(self) __init__(self) _call_chain(self, chain, kind, meth_name, *args) add_handler(self, handler) close(self) error(self, proto, *args) open(self, fullurl, data=None)   class OpenerFactory       #bleck! don't use this yet      add_handler(self, h) add_proxy_handler(self, ph) build_opener(self) replace_handler(self, h)   class ProxyHandler(BaseHandler)            __init__(self, proxies=None) add_parent(self, parent) from BaseHandler close(self) from BaseHandler proxy_open(self, req, proxy, type)   class Request            __getattr__(self, attr) __init__(self, url, data=None, headers={}) add_data(self, data) add_header(self, key, val) get_data(self) get_full_url(self) get_host(self) get_selector(self) get_type(self) has_data(self) set_proxy(self, proxy)   class URLError(exceptions.IOError)            __getitem__(self, i) from exceptions.Exception __init__(self, reason) # URLError is a sub-type of IOError, but it doesn't share any of # the implementation.  need to override __init__ and __str__ __str__(self)   class UnknownHandler(BaseHandler)            add_parent(self, parent) from BaseHandler close(self) from BaseHandler unknown_open(self, req)

Functions
		StringIO(...) StringIO([s]) -- Return a StringIO-like stream for reading or writing build_opener(*handlers) Create an opener object from a list of handlers.   The opener will use several default handlers, including support for HTTP and FTP.  If there is a ProxyHandler, it must be at the front of the list of handlers.  (Yuck.)   If any of the handlers passed as arguments are subclasses of the default handlers, the default handlers will not be used. encode_digest(digest) get_methods(inst) install_opener(opener) is_callable(obj) parse_http_list(s) Parse lists as described by RFC 2068 Section 2.   In particular, parse comman-separated lists where the elements of the list may include quoted-strings.  A quoted-string could contain a comma. parse_keqv_list(l) Parse list of key=value strings where keys are not duplicated. urlopen(url, data=None)

Data
		__file__ = '/usr/lib/python1.6/urllib2.pyc' __name__ = 'urllib2' __version__ = '2.0a1' _opener = None