Synthetic commit for tag v_2_9_7
[privoxy.git] / parsers.c
index 6bf55ea..11b511e 100644 (file)
--- a/parsers.c
+++ b/parsers.c
@@ -1,4 +1,4 @@
-const char parsers_rcs[] = "$Id: parsers.c,v 1.42 2001/11/22 21:59:30 jongfoster Exp $";
+const char parsers_rcs[] = "$Id: parsers.c,v 1.17 2001/06/29 21:45:41 oes Exp $";
 /*********************************************************************
  *
  * File        :  $Source: /cvsroot/ijbswa/current/parsers.c,v $
@@ -18,10 +18,10 @@ const char parsers_rcs[] = "$Id: parsers.c,v 1.42 2001/11/22 21:59:30 jongfoster
  *                IJBSWA team.  http://ijbswa.sourceforge.net
  *
  *                Based on the Internet Junkbuster originally written
- *                by and Copyright (C) 1997 Anonymous Coders and
+ *                by and Copyright (C) 1997 Anonymous Coders and 
  *                Junkbusters Corporation.  http://www.junkbusters.com
  *
- *                This program is free software; you can redistribute it
+ *                This program is free software; you can redistribute it 
  *                and/or modify it under the terms of the GNU General
  *                Public License as published by the Free Software
  *                Foundation; either version 2 of the License, or (at
@@ -41,133 +41,6 @@ const char parsers_rcs[] = "$Id: parsers.c,v 1.42 2001/11/22 21:59:30 jongfoster
  *
  * Revisions   :
  *    $Log: parsers.c,v $
- *    Revision 1.42  2001/11/22 21:59:30  jongfoster
- *    Adding code to handle +no-cookies-keep
- *
- *    Revision 1.41  2001/11/05 23:43:05  steudten
- *    Add time+date to log files.
- *
- *    Revision 1.40  2001/10/26 20:13:09  jongfoster
- *    ctype.h is needed in Windows, too.
- *
- *    Revision 1.39  2001/10/26 17:40:04  oes
- *    Introduced get_header_value()
- *    Removed http->user_agent, csp->referrer and csp->accept_types
- *    Removed client_accept()
- *
- *    Revision 1.38  2001/10/25 03:40:48  david__schmidt
- *    Change in porting tactics: OS/2's EMX porting layer doesn't allow multiple
- *    threads to call select() simultaneously.  So, it's time to do a real, live,
- *    native OS/2 port.  See defines for __EMX__ (the porting layer) vs. __OS2__
- *    (native). Both versions will work, but using __OS2__ offers multi-threading.
- *
- *    Revision 1.37  2001/10/23 21:36:02  jongfoster
- *    Documenting sed()'s error behaviou (doc change only)
- *
- *    Revision 1.36  2001/10/13 12:51:51  joergs
- *    Removed client_host, (was only required for the old 2.0.2-11 http://noijb.
- *    force-load), instead crumble Host: and add it (again) in client_host_adder
- *    (in case we get a HTTP/1.0 request without Host: header and forward it to
- *    a HTTP/1.1 server/proxy).
- *
- *    Revision 1.35  2001/10/09 22:39:21  jongfoster
- *    assert.h is also required under Win32, so moving out of #ifndef _WIN32
- *    block.
- *
- *    Revision 1.34  2001/10/07 18:50:55  oes
- *    Added server_content_encoding, renamed server_transfer_encoding
- *
- *    Revision 1.33  2001/10/07 18:04:49  oes
- *    Changed server_http11 to server_http and its pattern to "HTTP".
- *      Additional functionality: it now saves the HTTP status into
- *      csp->http->status and sets CT_TABOO for Status 206 (partial range)
- *
- *    Revision 1.32  2001/10/07 15:43:28  oes
- *    Removed FEATURE_DENY_GZIP and replaced it with client_accept_encoding,
- *       client_te and client_accept_encoding_adder, triggered by the new
- *       +no-compression action. For HTTP/1.1 the Accept-Encoding header is
- *       changed to allow only identity and chunked, and the TE header is
- *       crunched. For HTTP/1.0, Accept-Encoding is crunched.
- *
- *    parse_http_request no longer does anything than parsing. The rewriting
- *      of http->cmd and version mangling are gone. It now also recognizes
- *      the put and delete methods and saves the url in http->url. Removed
- *      unused variable.
- *
- *    renamed content_type and content_length to have the server_ prefix
- *
- *    server_content_type now only works if csp->content_type != CT_TABOO
- *
- *    added server_transfer_encoding, which
- *      - Sets CT_TABOO to prohibit filtering if encoding compresses
- *      - Raises the CSP_FLAG_CHUNKED flag if Encoding is "chunked"
- *      - Change from "chunked" to "identity" if body was chunked
- *        but has been de-chunked for filtering.
- *
- *    added server_content_md5 which crunches any Content-MD5 headers
- *      if the body was modified.
- *
- *    made server_http11 conditional on +downgrade action
- *
- *    Replaced 6 boolean members of csp with one bitmap (csp->flags)
- *
- *    Revision 1.31  2001/10/05 14:25:02  oes
- *    Crumble Keep-Alive from Server
- *
- *    Revision 1.30  2001/09/29 12:56:03  joergs
- *    IJB now changes HTTP/1.1 to HTTP/1.0 in requests and answers.
- *
- *    Revision 1.29  2001/09/24 21:09:24  jongfoster
- *    Fixing 2 memory leaks that Guy spotted, where the paramater to
- *    enlist() was not being free()d.
- *
- *    Revision 1.28  2001/09/22 16:32:28  jongfoster
- *    Removing unused #includes.
- *
- *    Revision 1.27  2001/09/20 15:45:25  steudten
- *
- *    add casting from size_t to int for printf()
- *    remove local variable shadow s2
- *
- *    Revision 1.26  2001/09/16 17:05:14  jongfoster
- *    Removing unused #include showarg.h
- *
- *    Revision 1.25  2001/09/16 13:21:27  jongfoster
- *    Changes to use new list functions.
- *
- *    Revision 1.24  2001/09/13 23:05:50  jongfoster
- *    Changing the string paramater to the header parsers a "const".
- *
- *    Revision 1.23  2001/09/12 18:08:19  steudten
- *
- *    In parse_http_request() header rewriting miss the host value, so
- *    from http://www.mydomain.com the result was just " / " not
- *    http://www.mydomain.com/ in case we forward.
- *
- *    Revision 1.22  2001/09/10 10:58:53  oes
- *    Silenced compiler warnings
- *
- *    Revision 1.21  2001/07/31 14:46:00  oes
- *     - Persistant connections now suppressed
- *     - sed() no longer appends empty header to csp->headers
- *
- *    Revision 1.20  2001/07/30 22:08:36  jongfoster
- *    Tidying up #defines:
- *    - All feature #defines are now of the form FEATURE_xxx
- *    - Permanently turned off WIN_GUI_EDIT
- *    - Permanently turned on WEBDAV and SPLIT_PROXY_ARGS
- *
- *    Revision 1.19  2001/07/25 17:21:54  oes
- *    client_uagent now saves copy of User-Agent: header value
- *
- *    Revision 1.18  2001/07/13 14:02:46  oes
- *     - Included fix to repair broken HTTP requests that
- *       don't contain a path, not even '/'.
- *     - Removed all #ifdef PCRS
- *     - content_type now always inspected and classified as
- *       text, gif or other.
- *     - formatting / comments
- *
  *    Revision 1.17  2001/06/29 21:45:41  oes
  *    Indentation, CRLF->LF, Tab-> Space
  *
@@ -193,7 +66,7 @@ const char parsers_rcs[] = "$Id: parsers.c,v 1.42 2001/11/22 21:59:30 jongfoster
  *    CRLF -> LF
  *
  *    Revision 1.11  2001/05/29 20:11:19  joergs
- *    '/ * inside comment' warning removed.
+ *    '/* inside comment' warning removed.
  *
  *    Revision 1.10  2001/05/29 09:50:24  jongfoster
  *    Unified blocklist/imagelist/permissionslist.
@@ -319,17 +192,13 @@ const char parsers_rcs[] = "$Id: parsers.c,v 1.42 2001/11/22 21:59:30 jongfoster
 
 #include "config.h"
 
-#ifndef _WIN32
 #include <stdio.h>
 #include <sys/types.h>
-#endif
-
 #include <stdlib.h>
 #include <ctype.h>
-#include <assert.h>
 #include <string.h>
 
-#if !defined(_WIN32) && !defined(__OS2__)
+#ifndef _WIN32
 #include <unistd.h>
 #endif
 
@@ -337,11 +206,15 @@ const char parsers_rcs[] = "$Id: parsers.c,v 1.42 2001/11/22 21:59:30 jongfoster
 #include "list.h"
 #include "parsers.h"
 #include "encode.h"
+#include "filters.h"
+#include "loaders.h"
+#include "showargs.h"
+#include "jcc.h"
 #include "ssplit.h"
 #include "errlog.h"
 #include "jbsockets.h"
 #include "miscutil.h"
-#include "list.h"
+#include "cgi.h"
 
 const char parsers_h_rcs[] = PARSERS_H_VERSION;
 
@@ -351,8 +224,8 @@ const char parsers_h_rcs[] = PARSERS_H_VERSION;
  * as an array index.  Therefore we need to make sure that high-bit
  * characters generate +ve values, and ideally we also want to make
  * the argument match the declared parameter type of "int".
- *
- * Why did they write a character function that can't take a simple
+ * 
+ * Why did they write a character function that can't take a simple 
  * "char" argument?  Doh!
  */
 #define ijb_isupper(__X) isupper((int)(unsigned char)(__X))
@@ -366,44 +239,39 @@ const struct parsers client_patterns[] = {
    { "from:",                    5,    client_from },
    { "cookie:",                  7,    client_send_cookie },
    { "x-forwarded-for:",         16,   client_x_forwarded },
-   { "Accept-Encoding:",         16,   client_accept_encoding },
-   { "TE:",                      3,    client_te },
-   { "Host:",                     5,   crumble },
-/* { "if-modified-since:",       18,   crumble }, */
-   { "Keep-Alive:",              11,   crumble },
-   { "connection:",              11,   crumble },
    { "proxy-connection:",        17,   crumble },
+#ifdef DENY_GZIP
+   { "Accept-Encoding: gzip",    21,   crumble },
+#endif /* def DENY_GZIP */
+#if defined(DETECT_MSIE_IMAGES)
+   { "Accept:",                   7,   client_accept },
+#endif /* defined(DETECT_MSIE_IMAGES) */
+#ifdef FORCE_LOAD
+   { "Host:",                     5,   client_host },
+#endif /* def FORCE_LOAD */
+/* { "if-modified-since:",       18,   crumble }, */
    { NULL,                       0,    NULL }
 };
 
 
 const struct parsers server_patterns[] = {
-   { "HTTP",                4, server_http },
    { "set-cookie:",        11, server_set_cookie },
    { "connection:",        11, crumble },
-   { "Content-Type:",      13, server_content_type },
-   { "Content-Length:",    15, server_content_length },
-   { "Content-MD5:",       12, server_content_md5 },
-   { "Content-Encoding:",  17, server_content_encoding },
-   { "Transfer-Encoding:", 18, server_transfer_coding },
-   { "Keep-Alive:",        11, crumble },
+   { "Content-Type:",      13, content_type },
+   { "Content-Length:",    15, content_length },
    { NULL, 0, NULL }
 };
 
 
 void (* const add_client_headers[])(struct client_state *) = {
-   client_host_adder,
    client_cookie_adder,
    client_x_forwarded_adder,
    client_xtra_adder,
-   client_accept_encoding_adder,
-   connection_close_adder,
    NULL
 };
 
 
 void (* const add_server_headers[])(struct client_state *) = {
-   connection_close_adder,
    NULL
 };
 
@@ -564,56 +432,6 @@ char *get_header(struct client_state *csp)
 }
 
 
-/*********************************************************************
- *
- * Function    :  get_header_value
- *
- * Description :  Get the value of a given header from a chained list
- *                of header lines or return NULL if no such header is
- *                present in the list.
- *
- * Parameters  :
- *          1  :  header_list = pointer to list
- *          2  :  header_name = string with name of header to look for.
- *                              Trailing colon required, capitalization
- *                              doesn't matter.
- *
- * Returns     :  NULL if not found, else value of header
- *
- *********************************************************************/
-char *get_header_value(const struct list *header_list, const char *header_name)
-{
-   struct list_entry *cur_entry;
-   char *ret = NULL;
-   size_t length = 0;
-
-   assert(header_list);
-   assert(header_name);
-   length = strlen(header_name);
-
-   for (cur_entry = header_list->first; cur_entry ; cur_entry = cur_entry->next)
-   {
-      if (cur_entry->str)
-      {
-         if (!strncmpic(cur_entry->str, header_name, length))
-         {
-            /*
-             * Found: return pointer to start of value
-             */
-            ret = (char *) (cur_entry->str + length);
-            while (*ret && ijb_isspace(*ret)) ret++;
-            return(ret);
-         }
-      }
-   }
-
-   /* 
-    * Not found
-    */
-   return NULL;
-
-}
-
 /*********************************************************************
  *
  * Function    :  sed
@@ -632,20 +450,19 @@ char *get_header_value(const struct list *header_list, const char *header_name)
  *                headers (client or server)
  *          3  :  csp = Current client state (buffers, headers, etc...)
  *
- * Returns     :  Single pointer to a fully formed header, or NULL
- *                on out-of-memory error.
+ * Returns     :  Single pointer to a fully formed header.
  *
  *********************************************************************/
 char *sed(const struct parsers pats[], void (* const more_headers[])(struct client_state *), struct client_state *csp)
 {
-   struct list_entry *p;
+   struct list *p;
    const struct parsers *v;
    char *hdr;
    void (* const *f)();
 
    for (v = pats; v->str ; v++)
    {
-      for (p = csp->headers->first; p ; p = p->next)
+      for (p = csp->headers->next; p ; p = p->next)
       {
          /* Header crunch()ed in previous run? -> ignore */
          if (p->str == NULL) continue;
@@ -655,7 +472,7 @@ char *sed(const struct parsers pats[], void (* const more_headers[])(struct clie
          if (strncmpic(p->str, v->str, v->len) == 0)
          {
             hdr = v->parser(v, p->str, csp);
-            freez(p->str); /* FIXME: Yuck! patching a list...*/
+            freez(p->str);
             p->str = hdr;
          }
       }
@@ -667,9 +484,17 @@ char *sed(const struct parsers pats[], void (* const more_headers[])(struct clie
       (*f)(csp);
    }
 
+   /* add the blank line at the end of the header, if necessary */
+   if ( (csp->headers->last == NULL)
+     || (csp->headers->last->str == NULL)
+     || (*csp->headers->last->str != '\0') )
+   {
+      enlist(csp->headers, "");
+   }
+
    hdr = list_to_text(csp->headers);
 
-   return hdr;
+   return(hdr);
 
 }
 
@@ -688,12 +513,9 @@ char *sed(const struct parsers pats[], void (* const more_headers[])(struct clie
  *********************************************************************/
 void free_http_request(struct http_request *http)
 {
-   assert(http);
-
    freez(http->cmd);
    freez(http->gpc);
    freez(http->host);
-   freez(http->url);
    freez(http->hostport);
    freez(http->path);
    freez(http->ver);
@@ -723,6 +545,7 @@ void parse_http_request(char *req, struct http_request *http, struct client_stat
    int n;
 
    memset(http, '\0', sizeof(*http));
+
    http->cmd = strdup(req);
 
    buf = strdup(req);
@@ -739,29 +562,41 @@ void parse_http_request(char *req, struct http_request *http, struct client_stat
          http->ver      = strdup(v[2]);
       }
 
-      /* or it could be any other basic HTTP request type */
-      if ((0 == strcmpic(v[0], "get"))
-       || (0 == strcmpic(v[0], "head"))
-       || (0 == strcmpic(v[0], "post"))
-       || (0 == strcmpic(v[0], "put"))
-       || (0 == strcmpic(v[0], "delete"))
-
-       /* or a webDAV extension (RFC2518) */
-       || (0 == strcmpic(v[0], "propfind"))
-       || (0 == strcmpic(v[0], "proppatch"))
-       || (0 == strcmpic(v[0], "move"))
-       || (0 == strcmpic(v[0], "copy"))
-       || (0 == strcmpic(v[0], "mkcol"))
-       || (0 == strcmpic(v[0], "lock"))
-       || (0 == strcmpic(v[0], "unlock"))
-       )
+#ifdef WEBDAV
+
+/* This next line is a little ugly, but it simplifies the if statement below. */
+/* Basically if using webDAV, we want the OR condition to use these too.      */
+
+/*
+ * by haroon
+ * These are the headers as defined in RFC2518 to add webDAV support
+ */
+
+#define OR_WEBDAV || \
+         (0 == strcmpic(v[0], "propfind")) || \
+         (0 == strcmpic(v[0], "proppatch")) || \
+         (0 == strcmpic(v[0], "move")) || \
+         (0 == strcmpic(v[0], "copy")) || \
+         (0 == strcmpic(v[0], "mkcol")) || \
+         (0 == strcmpic(v[0], "lock")) || \
+         (0 == strcmpic(v[0], "unlock"))
+
+#else /* No webDAV support is enabled.  Provide an empty OR_WEBDAV macro. */
+
+#define OR_WEBDAV
+
+#endif
+
+      /* or it could be a GET or a POST (possibly webDAV too) */
+      if ((strcmpic(v[0], "get")  == 0) ||
+          (strcmpic(v[0], "head") == 0) OR_WEBDAV ||
+          (strcmpic(v[0], "post") == 0))
       {
-         http->ssl    = 0;
-         http->gpc    = strdup(v[0]);
-         http->url    = strdup(v[1]);
-         http->ver    = strdup(v[2]);
+         http->ssl      = 0;
+         http->gpc      = strdup(v[0]);
+         url            = v[1];
+         http->ver      = strdup(v[2]);
 
-         url = v[1];
          if (strncmpic(url, "http://",  7) == 0)
          {
             url += 7;
@@ -777,19 +612,26 @@ void parse_http_request(char *req, struct http_request *http, struct client_stat
 
          if (url)
          {
-            if ((p = strchr(url, '/')))
+            if (p = strchr(url, '/'))
             {
                http->path = strdup(p);
                *p = '\0';
                http->hostport = strdup(url);
             }
-            /*
+            /* 
              * Repair broken HTTP requests that don't contain a path
              */
             else
             {
+               /* Repair hostport & path */
                http->path = strdup("/");
                http->hostport = strdup(url);
+
+               /* Even repair cmd in case we're just forwarding. Boy are we nice ;-)  */
+               freez(http->cmd);
+               http->cmd = strsav(http->cmd, http->gpc);
+               http->cmd = strsav(http->cmd, " / ");
+               http->cmd = strsav(http->cmd, http->ver);
             }
          }
       }
@@ -840,7 +682,7 @@ void parse_http_request(char *req, struct http_request *http, struct client_stat
 
    if (http->path == NULL)
    {
-      http->path = strdup("/");
+      http->path = strdup("");
    }
 
 }
@@ -864,7 +706,7 @@ void parse_http_request(char *req, struct http_request *http, struct client_stat
  * Returns     :  Always NULL.
  *
  *********************************************************************/
-char *crumble(const struct parsers *v, const char *s, struct client_state *csp)
+char *crumble(const struct parsers *v, char *s, struct client_state *csp)
 {
    log_error(LOG_LEVEL_HEADER, "crunch!");
    return(NULL);
@@ -874,11 +716,9 @@ char *crumble(const struct parsers *v, const char *s, struct client_state *csp)
 
 /*********************************************************************
  *
- * Function    :  server_content_type
+ * Function    :  content_type
  *
- * Description :  Set the content-type for filterable types (text/.*,
- *                javascript and image/gif) unless filtering has been
- *                forbidden (CT_TABOO) while parsing earlier headers.
+ * Description :  Is this a text/.* or javascript MIME Type?
  *
  * Parameters  :
  *          1  :  v = ignored
@@ -888,95 +728,14 @@ char *crumble(const struct parsers *v, const char *s, struct client_state *csp)
  * Returns     :  A duplicate string pointer to this header (ie. pass thru)
  *
  *********************************************************************/
-char *server_content_type(const struct parsers *v, const char *s, struct client_state *csp)
+char *content_type(const struct parsers *v, char *s, struct client_state *csp)
 {
-   if (csp->content_type != CT_TABOO)
-   {
-      if (strstr(s, " text/") || strstr(s, "application/x-javascript"))
-         csp->content_type = CT_TEXT;
-      else if (strstr(s, " image/gif"))
-         csp->content_type = CT_GIF;
-      else
-         csp->content_type = 0;
-   }
-
-   return(strdup(s));
-
-}
-
-
-/*********************************************************************
- *
- * Function    :  server_transfer_coding
- *
- * Description :  - Prohibit filtering (CT_TABOO) if transfer coding compresses
- *                - Raise the CSP_FLAG_CHUNKED flag if coding is "chunked"
- *                - Change from "chunked" to "identity" if body was chunked
- *                  but has been de-chunked for filtering.
- *
- * Parameters  :
- *          1  :  v = ignored
- *          2  :  s = header string we are "considering"
- *          3  :  csp = Current client state (buffers, headers, etc...)
- *
- * Returns     :  A duplicate string pointer to this header (ie. pass thru)
- *
- *********************************************************************/
-char *server_transfer_coding(const struct parsers *v, const char *s, struct client_state *csp)
-{
-   /*
-    * Turn off pcrs and gif filtering if body compressed
-    */
-   if (strstr(s, "gzip") || strstr(s, "compress") || strstr(s, "deflate"))
-   {
-      csp->content_type = CT_TABOO;
-   }
-
-   /*
-    * Raise flag if body chunked
-    */
-   if (strstr(s, "chunked"))
-   {
-      csp->flags |= CSP_FLAG_CHUNKED;
-
-      /*
-       * If the body was modified, it has been
-       * de-chunked first, so adjust the header:
-       */
-      if (csp->flags & CSP_FLAG_MODIFIED)
-      {
-         return(strdup("Transfer-Encoding: identity"));
-      }
-   }
-
-   return(strdup(s));
-
-}
-
-
-/*********************************************************************
- *
- * Function    :  server_content_encoding
- *
- * Description :  Prohibit filtering (CT_TABOO) if content encoding compresses
- *
- * Parameters  :
- *          1  :  v = ignored
- *          2  :  s = header string we are "considering"
- *          3  :  csp = Current client state (buffers, headers, etc...)
- *
- * Returns     :  A duplicate string pointer to this header (ie. pass thru)
- *
- *********************************************************************/
-char *server_content_encoding(const struct parsers *v, const char *s, struct client_state *csp)
-{
-   /*
-    * Turn off pcrs and gif filtering if body compressed
-    */
-   if (strstr(s, "gzip") || strstr(s, "compress") || strstr(s, "deflate"))
-   {
-      csp->content_type = CT_TABOO;
-   }
+   if (strstr(s, " text/") || strstr(s, "application/x-javascript"))
+      csp->content_type = CT_TEXT;
+   else if (strstr(s, " image/gif"))
+      csp->content_type = CT_GIF;
+   else
+      csp->content_type = 0;
 
    return(strdup(s));
 
@@ -985,7 +744,7 @@ char *server_content_encoding(const struct parsers *v, const char *s, struct cli
 
 /*********************************************************************
  *
- * Function    :  server_content_length
+ * Function    :  content_length
  *
  * Description :  Adjust Content-Length header if we modified
  *                the body.
@@ -998,45 +757,15 @@ char *server_content_encoding(const struct parsers *v, const char *s, struct cli
  * Returns     :  A duplicate string pointer to this header (ie. pass thru)
  *
  *********************************************************************/
-char *server_content_length(const struct parsers *v, const char *s, struct client_state *csp)
+char *content_length(const struct parsers *v, char *s, struct client_state *csp)
 {
-   if (csp->content_length != 0) /* Content length has been modified */
-   {
-      char * s2 = (char *) zalloc(100);
-      sprintf(s2, "Content-Length: %d", (int) csp->content_length);
-
-      log_error(LOG_LEVEL_HEADER, "Adjust Content-Length to %d", (int) csp->content_length);
-      return(s2);
-   }
-   else
+   if (csp->content_length != 0) /* Content has been modified */
    {
-      return(strdup(s));
-   }
-
-}
+      s = (char *) zalloc(100);
+      sprintf(s, "Content-Length: %d", csp->content_length);
 
-
-/*********************************************************************
- *
- * Function    :  server_content_md5
- *
- * Description :  Crumble any Content-MD5 headers if the document was
- *                modified. FIXME: Should we re-compute instead?
- *
- * Parameters  :
- *          1  :  v = ignored
- *          2  :  s = header string we are "considering"
- *          3  :  csp = Current client state (buffers, headers, etc...)
- *
- * Returns     :  A duplicate string pointer to this header (ie. pass thru)
- *
- *********************************************************************/
-char *server_content_md5(const struct parsers *v, const char *s, struct client_state *csp)
-{
-   if (csp->flags & CSP_FLAG_MODIFIED)
-   {
-      log_error(LOG_LEVEL_HEADER, "Crunching Content-MD5");
-      return(NULL);
+       log_error(LOG_LEVEL_HEADER, "Adjust Content-Length to %d", csp->content_length);
+      return(s);
    }
    else
    {
@@ -1046,74 +775,6 @@ char *server_content_md5(const struct parsers *v, const char *s, struct client_s
 }
 
 
-/*********************************************************************
- *
- * Function    :  client_accept_encoding
- *
- * Description :  Rewrite the client's Accept-Encoding header so that
- *                if doesn't allow compression, if the action applies.
- *                Note: For HTTP/1.0 the absence of the header is enough.
- *
- * Parameters  :
- *          1  :  v = ignored
- *          2  :  s = header string we are "considering"
- *          3  :  csp = Current client state (buffers, headers, etc...)
- *
- * Returns     :  A copy of the client's original or the modified header.
- *
- *********************************************************************/
-char *client_accept_encoding(const struct parsers *v, const char *s, struct client_state *csp)
-{
-   if ((csp->action->flags & ACTION_NO_COMPRESSION) == 0)
-   {
-      return(strdup(s));
-   }
-   else
-   {
-      log_error(LOG_LEVEL_HEADER, "Supressed offer to compress content");
-
-      if (!strcmpic(csp->http->ver, "HTTP/1.1"))
-      {
-         return(strdup("Accept-Encoding: identity;q=1.0, *;q=0"));
-      }
-      else
-      {
-         return(NULL);
-      }
-   }
-
-}
-
-
-/*********************************************************************
- *
- * Function    :  client_te
- *
- * Description :  Rewrite the client's TE header so that
- *                if doesn't allow compression, if the action applies.
- *
- * Parameters  :
- *          1  :  v = ignored
- *          2  :  s = header string we are "considering"
- *          3  :  csp = Current client state (buffers, headers, etc...)
- *
- * Returns     :  A copy of the client's original or the modified header.
- *
- *********************************************************************/
-char *client_te(const struct parsers *v, const char *s, struct client_state *csp)
-{
-   if ((csp->action->flags & ACTION_NO_COMPRESSION) == 0)
-   {
-      return(strdup(s));
-   }
-   else
-   {
-      log_error(LOG_LEVEL_HEADER, "Supressed offer to compress transfer");
-      return(NULL);
-   }
-
-}
-
 /*********************************************************************
  *
  * Function    :  client_referrer
@@ -1130,17 +791,20 @@ char *client_te(const struct parsers *v, const char *s, struct client_state *csp
  *                or modified header
  *
  *********************************************************************/
-char *client_referrer(const struct parsers *v, const char *s, struct client_state *csp)
+char *client_referrer(const struct parsers *v, char *s, struct client_state *csp)
 {
    const char * newval;
-   char * s2;
-#ifdef FEATURE_FORCE_LOAD
+#ifdef FORCE_LOAD
    /* Since the referrer can include the prefix even
     * even if the request itself is non-forced, we must
-    * clean it unconditionally
+    * clean it unconditionally 
     */
    strclean(s, FORCE_PREFIX);
-#endif /* def FEATURE_FORCE_LOAD */
+#endif /* def FORCE_LOAD */
+
+#ifdef TRUST_FILES
+   csp->referrer = strdup(s);
+#endif /* def TRUST_FILES */
 
    /*
     * Are we sending referer?
@@ -1171,11 +835,11 @@ char *client_referrer(const struct parsers *v, const char *s, struct client_stat
        * to fool stupid checks for in-site links
        */
       log_error(LOG_LEVEL_HEADER, "crunch+forge!");
-      s2 = strsav(NULL, "Referer: ");
-      s2 = strsav(s2, "http://");
-      s2 = strsav(s2, csp->http->hostport);
-      s2 = strsav(s2, "/");
-      return(s2);
+      s = strsav(NULL, "Referer: ");
+      s = strsav(s, "http://");
+      s = strsav(s, csp->http->hostport);
+      s = strsav(s, "/");
+      return(s);
    }
 
    /*
@@ -1186,13 +850,12 @@ char *client_referrer(const struct parsers *v, const char *s, struct client_stat
       /*
        * We have a specific (fixed) referer we want to send.
        */
-      char * s3;
 
       log_error(LOG_LEVEL_HEADER, "modified");
 
-      s3 = strsav( NULL, "Referer: " );
-      s3 = strsav( s3, newval );
-      return(s3);
+      s = strsav( NULL, "Referer: " );
+      s = strsav( s, newval );
+      return(s);
    }
 
    /* Should never get here! */
@@ -1205,11 +868,11 @@ char *client_referrer(const struct parsers *v, const char *s, struct client_stat
     * to fool stupid checks for in-site links
     */
    log_error(LOG_LEVEL_HEADER, "crunch+forge!");
-   s2 = strsav(NULL, "Referer: ");
-   s2 = strsav(s2, "http://");
-   s2 = strsav(s2, csp->http->hostport);
-   s2 = strsav(s2, "/");
-   return(s2);
+   s = strsav(NULL, "Referer: ");
+   s = strsav(s, "http://");
+   s = strsav(s, csp->http->hostport);
+   s = strsav(s, "/");
+   return(s);
 }
 
 
@@ -1217,9 +880,8 @@ char *client_referrer(const struct parsers *v, const char *s, struct client_stat
  *
  * Function    :  client_uagent
  *
- * Description :  Handle the "user-agent" config setting properly
- *                and remember its original value to enable browser
- *                bug workarounds. Called from `sed'.
+ * Description :  Handle the "user-agent" config setting properly.
+ *                Called from `sed'.
  *
  * Parameters  :
  *          1  :  v = ignored
@@ -1230,10 +892,19 @@ char *client_referrer(const struct parsers *v, const char *s, struct client_stat
  *                a malloc'ed string pointer to this header (ie. pass thru).
  *
  *********************************************************************/
-char *client_uagent(const struct parsers *v, const char *s, struct client_state *csp)
+char *client_uagent(const struct parsers *v, char *s, struct client_state *csp)
 {
    const char * newval;
-   char * s2;
+
+#ifdef DETECT_MSIE_IMAGES
+   if (strstr (s, "MSIE "))
+   {
+      /* This is Microsoft Internet Explorer.
+       * Enable auto-detect.
+       */
+      csp->accept_types |= ACCEPT_TYPE_IS_MSIE;
+   }
+#endif /* def DETECT_MSIE_IMAGES */
 
    if ((csp->action->flags & ACTION_HIDE_USER_AGENT) == 0)
    {
@@ -1248,9 +919,9 @@ char *client_uagent(const struct parsers *v, const char *s, struct client_state
 
    log_error(LOG_LEVEL_HEADER, "modified");
 
-   s2 = strsav( NULL, "User-Agent: " );
-   s2 = strsav( s2, newval );
-   return(s2);
+   s = strsav( NULL, "User-Agent: " );
+   s = strsav( s, newval );
+   return(s);
 
 }
 
@@ -1269,7 +940,7 @@ char *client_uagent(const struct parsers *v, const char *s, struct client_state
  * Returns     :  NULL if crunched, or a malloc'ed string to original header
  *
  *********************************************************************/
-char *client_ua(const struct parsers *v, const char *s, struct client_state *csp)
+char *client_ua(const struct parsers *v, char *s, struct client_state *csp)
 {
    if ((csp->action->flags & ACTION_HIDE_USER_AGENT) == 0)
    {
@@ -1299,10 +970,9 @@ char *client_ua(const struct parsers *v, const char *s, struct client_state *csp
  *                modified/original header.
  *
  *********************************************************************/
-char *client_from(const struct parsers *v, const char *s, struct client_state *csp)
+char *client_from(const struct parsers *v, char *s, struct client_state *csp)
 {
    const char * newval;
-   char * s2;
 
    if ((csp->action->flags & ACTION_HIDE_FROM) == 0)
    {
@@ -1322,9 +992,9 @@ char *client_from(const struct parsers *v, const char *s, struct client_state *c
 
    log_error(LOG_LEVEL_HEADER, " modified");
 
-   s2 = strsav( NULL, "From: " );
-   s2 = strsav( s2, newval );
-   return(s2);
+   s = strsav( NULL, "From: " );
+   s = strsav( s, newval );
+   return(s);
 
 }
 
@@ -1345,7 +1015,7 @@ char *client_from(const struct parsers *v, const char *s, struct client_state *c
  * Returns     :  Always NULL.
  *
  *********************************************************************/
-char *client_send_cookie(const struct parsers *v, const char *s, struct client_state *csp)
+char *client_send_cookie(const struct parsers *v, char *s, struct client_state *csp)
 {
    if ((csp->action->flags & ACTION_NO_COOKIE_READ) == 0)
    {
@@ -1380,7 +1050,7 @@ char *client_send_cookie(const struct parsers *v, const char *s, struct client_s
  * Returns     :  Always NULL.
  *
  *********************************************************************/
-char *client_x_forwarded(const struct parsers *v, const char *s, struct client_state *csp)
+char *client_x_forwarded(const struct parsers *v, char *s, struct client_state *csp)
 {
    if ((csp->action->flags & ACTION_HIDE_FORWARDED) == 0)
    {
@@ -1397,32 +1067,48 @@ char *client_x_forwarded(const struct parsers *v, const char *s, struct client_s
 
 }
 
-/* the following functions add headers directly to the header list */
-
+#if defined(DETECT_MSIE_IMAGES)
 /*********************************************************************
  *
- * Function    :  client_host_adder
+ * Function    :  client_accept
  *
- * Description :  (re)adds the host header. Called from `sed'.
+ * Description :  Detect whether the client wants HTML or an image.
+ *                Clients do not always make this information available
+ *                in a sane way.  Always passes the header through
+ *                the proxy unchanged.
  *
  * Parameters  :
- *          1  :  csp = Current client state (buffers, headers, etc...)
+ *          1  :  v = Ignored.
+ *          2  :  s = Header string.  Null terminated.
+ *          3  :  csp = Current client state (buffers, headers, etc...)
  *
- * Returns     :  N/A
+ * Returns     :  Duplicate of argument s.
  *
  *********************************************************************/
-void client_host_adder(struct client_state *csp)
+char *client_accept(const struct parsers *v, char *s, struct client_state *csp)
 {
-   char *p = NULL;
-
-   p = strsav(p, "Host: ");
-   p = strsav(p, csp->http->hostport);
+#ifdef DETECT_MSIE_IMAGES
+   if (strstr (s, "image/gif"))
+   {
+      /* Client will accept HTML.  If this seems counterintuitive,
+       * blame Microsoft. 
+       */
+      csp->accept_types |= ACCEPT_TYPE_MSIE_HTML;
+   }
+   else
+   {
+      csp->accept_types |= ACCEPT_TYPE_MSIE_IMAGE;
+   }
+#endif /* def DETECT_MSIE_IMAGES */
 
-   log_error(LOG_LEVEL_HEADER, "addh: %s", p);
-   enlist(csp->headers, p);
+   return(strdup(s));
 
-   freez(p);
 }
+#endif /* defined(DETECT_MSIE_IMAGES) */
+
+
+
+/* the following functions add headers directly to the header list */
 
 
 /*********************************************************************
@@ -1439,11 +1125,11 @@ void client_host_adder(struct client_state *csp)
  *********************************************************************/
 void client_cookie_adder(struct client_state *csp)
 {
-   struct list_entry *lst;
+   struct list *lst;
    char *tmp = NULL;
    char *e;
 
-   for (lst = csp->cookie_list->first; lst ; lst = lst->next)
+   for (lst = csp->cookie_list->next; lst ; lst = lst->next)
    {
       if (tmp)
       {
@@ -1452,7 +1138,7 @@ void client_cookie_adder(struct client_state *csp)
       tmp = strsav(tmp, lst->str);
    }
 
-   for (lst = csp->action->multi[ACTION_MULTI_WAFER]->first;  lst ; lst = lst->next)
+   for (lst = csp->action->multi[ACTION_MULTI_WAFER]->next;  lst ; lst = lst->next)
    {
       if (tmp)
       {
@@ -1481,32 +1167,6 @@ void client_cookie_adder(struct client_state *csp)
 }
 
 
-/*********************************************************************
- *
- * Function    :  client_accept_encoding_adder
- *
- * Description :  Add an Accept-Encoding header to the client's request
- *                that disables compression if the action applies, and
- *                the header is not already there. Called from `sed'.
- *                Note: For HTTP/1.0, the absence of the header is enough.
- *
- * Parameters  :
- *          1  :  csp = Current client state (buffers, headers, etc...)
- *
- * Returns     :  N/A
- *
- *********************************************************************/
-void client_accept_encoding_adder(struct client_state *csp)
-{
-   if (   ((csp->action->flags & ACTION_NO_COMPRESSION) != 0)
-       && (!strcmpic(csp->http->ver, "HTTP/1.1")) )
-   {
-      enlist_unique(csp->headers, "Accept-Encoding: identity;q=1.0, *;q=0", 16);
-   }
-
-}
-
-
 /*********************************************************************
  *
  * Function    :  client_xtra_adder
@@ -1521,10 +1181,9 @@ void client_accept_encoding_adder(struct client_state *csp)
  *********************************************************************/
 void client_xtra_adder(struct client_state *csp)
 {
-   struct list_entry *lst;
+   struct list *lst = csp->action->multi[ACTION_MULTI_ADD_HEADER];
 
-   for (lst = csp->action->multi[ACTION_MULTI_ADD_HEADER]->first;
-        lst ; lst = lst->next)
+   for (lst = lst->next; lst ; lst = lst->next)
    {
       log_error(LOG_LEVEL_HEADER, "addh: %s", lst->str);
       enlist(csp->headers, lst->str);
@@ -1569,200 +1228,78 @@ void client_x_forwarded_adder(struct client_state *csp)
    log_error(LOG_LEVEL_HEADER, "addh: %s", p);
    enlist(csp->headers, p);
 
-   freez(p);
-}
-
-
-/*********************************************************************
- *
- * Function    :  connection_close_adder
- *
- * Description :  Adds a "Connection: close" header to csp->headers
- *                as a temporary fix for the needed but missing HTTP/1.1
- *                support. Called from `sed'.
- *                FIXME: This whole function shouldn't be neccessary!
- *
- * Parameters  :
- *          1  :  csp = Current client state (buffers, headers, etc...)
- *
- * Returns     :  N/A
- *
- *********************************************************************/
-void connection_close_adder(struct client_state *csp)
-{
-   enlist(csp->headers, "Connection: close");
 }
 
 
 /*********************************************************************
  *
- * Function    :  server_http
+ * Function    :  server_set_cookie
  *
- * Description :  - Save the HTTP Status into csp->http->status
- *                - Set CT_TABOO to prevent filtering if the answer
- *                  is a partial range (HTTP status 206)
- *                - Rewrite HTTP/1.1 answers to HTTP/1.0 if +downgrade
- *                  action applies.
+ * Description :  Handle the server "cookie" header properly.
+ *                Log cookie to the jar file.  Then "crunch" it,
+ *                or accept it.  Called from `sed'.
  *
  * Parameters  :
  *          1  :  v = parser pattern that matched this header
  *          2  :  s = header that matched this pattern
  *          3  :  csp = Current client state (buffers, headers, etc...)
  *
- * Returns     :  Copy of changed  or original answer.
+ * Returns     :  `crumble' or a newly malloc'ed string.
  *
  *********************************************************************/
-char *server_http(const struct parsers *v, const char *s, struct client_state *csp)
+char *server_set_cookie(const struct parsers *v, char *s, struct client_state *csp)
 {
-   char *ret = strdup(s);
-
-   sscanf(ret, "HTTP/%*d.%*d %d", &(csp->http->status));
-   if (csp->http->status == 206)
+#ifdef JAR_FILES
+   if (csp->config->jar)
    {
-      csp->content_type = CT_TABOO;
+      fprintf(csp->config->jar, "%s\t%s\n", csp->http->host, (s + v->len + 1));
    }
+#endif /* def JAR_FILES */
 
-   if ((csp->action->flags & ACTION_DOWNGRADE) != 0)
+   if ((csp->action->flags & ACTION_NO_COOKIE_SET) != 0)
    {
-      ret[7] = '0';
-      log_error(LOG_LEVEL_HEADER, "Downgraded answer to HTTP/1.0");
+      return(crumble(v, s, csp));
    }
-   return(ret);
+
+   return(strdup(s));
 
 }
 
 
+#ifdef FORCE_LOAD
 /*********************************************************************
  *
- * Function    :  server_set_cookie
+ * Function    :  client_host
  *
- * Description :  Handle the server "cookie" header properly.
- *                Log cookie to the jar file.  Then "crunch" it,
- *                or accept it.  Called from `sed'.
+ * Description :  Clean the FORCE_PREFIX out of the 'host' http
+ *                header, if we use force
  *
  * Parameters  :
- *          1  :  v = parser pattern that matched this header
- *          2  :  s = header that matched this pattern
+ *          1  :  v = ignored
+ *          2  :  s = header (from sed) to clean
  *          3  :  csp = Current client state (buffers, headers, etc...)
  *
- * Returns     :  `crumble' or a newly malloc'ed string.
+ * Returns     :  A malloc'ed pointer to the cleaned host header 
  *
  *********************************************************************/
-char *server_set_cookie(const struct parsers *v, const char *s, struct client_state *csp)
+char *client_host(const struct parsers *v, char *s, struct client_state *csp)
 {
-#ifdef FEATURE_COOKIE_JAR
-   if (csp->config->jar)
-   {
-      /*
-       * Write timestamp into outbuf.
-       *
-       * Complex because not all OSs have tm_gmtoff or
-       * the %z field in strftime()
-       */
-      char tempbuf[ BUFFER_SIZE ];
-      time_t now; 
-      struct tm *tm_now; 
-      time (&now); 
-      tm_now = localtime (&now); 
-      strftime (tempbuf, BUFFER_SIZE-6, "%b %d %H:%M:%S ", tm_now); 
-
-      fprintf(csp->config->jar, "%s %s\t%s\n", tempbuf, csp->http->host, (s + v->len + 1));
-   }
-#endif /* def FEATURE_COOKIE_JAR */
-
-   if ((csp->action->flags & ACTION_NO_COOKIE_SET) != 0)
-   {
-      return(crumble(v, s, csp));
-   }
-   else if ((csp->action->flags & ACTION_NO_COOKIE_KEEP) != 0)
-   {
-      /* Flag whether or not to log a message */
-      int changed = 0;
-
-      /* A variable to store the tag we're working on */
-      char * cur_tag;
-
-      /* Make a copy of the header we can write to */
-      char * result = strdup(s);
-      if (result == NULL)
-      {
-         /* FIXME: This error handling is incorrect */
-         return NULL;
-      }
-
-      /* Skip "Set-Cookie:" (11 characters) in header */
-      cur_tag = result + 11;
-
-      /* skip whitespace between "Set-Cookie:" and value */
-      while (*cur_tag && ijb_isspace(*cur_tag))
-      {
-         cur_tag++;
-      }
-
-      /* Loop through each tag in the cookie */
-      while (*cur_tag)
-      {
-         /* Find next tag */
-         char * next_tag = strchr(cur_tag, ';');
-         if (next_tag != NULL)
-         {
-            /* Skip the ';' character itself */
-            next_tag++;
-
-            /* skip whitespace ";" and start of tag */
-            while (*next_tag && ijb_isspace(*next_tag))
-            {
-               next_tag++;
-            }
-         }
-         else
-         {
-            /* "Next tag" is the end of the string */
-            next_tag = cur_tag + strlen(cur_tag);
-         }
-
-         /* Is this the "Expires" tag? */
-         if (strncmpic(cur_tag, "expires=", 8) == 0)
-         {
-            /* Delete the tag by copying the rest of the string over it.
-             * (Note that we cannot just use "strcpy(cur_tag, next_tag)",
-             * since the behaviour of strcpy is undefined for overlapping
-             * strings.)
-             */
-            memmove(cur_tag, next_tag, strlen(next_tag) + 1);
-
-            /* That changed the header, need to issue a log message */
-            changed = 1;
-
-            /* Note that the next tag has now been moved to *cur_tag,
-             * so we do not need to update the cur_tag pointer.
-             */
-         }
-         else
-         {
-            /* Move on to next cookie tag */
-            cur_tag = next_tag;
-         }
-      }
-
-      if (changed)
-      {
-         log_error(LOG_LEVEL_HEADER, "Changed cookie to a temporary one.");
-      }
-
-      return result;
-   }
-
-   return(strdup(s));
+   char *cleanhost = strdup(s);
+   if(csp->force)
+      strclean(cleanhost, FORCE_PREFIX);
+   return(cleanhost);
 }
-
-
-#ifdef FEATURE_FORCE_LOAD
+#endif /* def FORCE_LOAD */
+#ifdef FORCE_LOAD 
 /*********************************************************************
  *
  * Function    :  strclean
  *
- * Description :  In-Situ-Eliminate all occurances of substring in
+ * Description :  In-Situ-Eliminate all occurances of substring in 
  *                string
  *
  * Parameters  :
@@ -1782,7 +1319,7 @@ int strclean(const char *string, const char *substring)
       p = pos + len;
       do
       {
-         *(p - len) = *p;
+         *(p - len) = *p; 
       }
       while (*p++ != '\0');
 
@@ -1791,7 +1328,7 @@ int strclean(const char *string, const char *substring)
 
    return(hits);
 }
-#endif /* def FEATURE_FORCE_LOAD */
+#endif /* def FORCE_LOAD */
 
 
 /*