Synthetic commit for tag v_2_9_7
[privoxy.git] / parsers.c
index 47550db..11b511e 100644 (file)
--- a/parsers.c
+++ b/parsers.c
@@ -1,4 +1,4 @@
-const char parsers_rcs[] = "$Id: parsers.c,v 1.33 2001/10/07 18:04:49 oes Exp $";
+const char parsers_rcs[] = "$Id: parsers.c,v 1.17 2001/06/29 21:45:41 oes Exp $";
 /*********************************************************************
  *
  * File        :  $Source: /cvsroot/ijbswa/current/parsers.c,v $
@@ -41,97 +41,6 @@ const char parsers_rcs[] = "$Id: parsers.c,v 1.33 2001/10/07 18:04:49 oes Exp $"
  *
  * Revisions   :
  *    $Log: parsers.c,v $
- *    Revision 1.33  2001/10/07 18:04:49  oes
- *    Changed server_http11 to server_http and its pattern to "HTTP".
- *      Additional functionality: it now saves the HTTP status into
- *      csp->http->status and sets CT_TABOO for Status 206 (partial range)
- *
- *    Revision 1.32  2001/10/07 15:43:28  oes
- *    Removed FEATURE_DENY_GZIP and replaced it with client_accept_encoding,
- *       client_te and client_accept_encoding_adder, triggered by the new
- *       +no-compression action. For HTTP/1.1 the Accept-Encoding header is
- *       changed to allow only identity and chunked, and the TE header is
- *       crunched. For HTTP/1.0, Accept-Encoding is crunched.
- *
- *    parse_http_request no longer does anything than parsing. The rewriting
- *      of http->cmd and version mangling are gone. It now also recognizes
- *      the put and delete methods and saves the url in http->url. Removed
- *      unused variable.
- *
- *    renamed content_type and content_length to have the server_ prefix
- *
- *    server_content_type now only works if csp->content_type != CT_TABOO
- *
- *    added server_transfer_encoding, which
- *      - Sets CT_TABOO to prohibit filtering if encoding compresses
- *      - Raises the CSP_FLAG_CHUNKED flag if Encoding is "chunked"
- *      - Change from "chunked" to "identity" if body was chunked
- *        but has been de-chunked for filtering.
- *
- *    added server_content_md5 which crunches any Content-MD5 headers
- *      if the body was modified.
- *
- *    made server_http11 conditional on +downgrade action
- *
- *    Replaced 6 boolean members of csp with one bitmap (csp->flags)
- *
- *    Revision 1.31  2001/10/05 14:25:02  oes
- *    Crumble Keep-Alive from Server
- *
- *    Revision 1.30  2001/09/29 12:56:03  joergs
- *    IJB now changes HTTP/1.1 to HTTP/1.0 in requests and answers.
- *
- *    Revision 1.29  2001/09/24 21:09:24  jongfoster
- *    Fixing 2 memory leaks that Guy spotted, where the paramater to
- *    enlist() was not being free()d.
- *
- *    Revision 1.28  2001/09/22 16:32:28  jongfoster
- *    Removing unused #includes.
- *
- *    Revision 1.27  2001/09/20 15:45:25  steudten
- *
- *    add casting from size_t to int for printf()
- *    remove local variable shadow s2
- *
- *    Revision 1.26  2001/09/16 17:05:14  jongfoster
- *    Removing unused #include showarg.h
- *
- *    Revision 1.25  2001/09/16 13:21:27  jongfoster
- *    Changes to use new list functions.
- *
- *    Revision 1.24  2001/09/13 23:05:50  jongfoster
- *    Changing the string paramater to the header parsers a "const".
- *
- *    Revision 1.23  2001/09/12 18:08:19  steudten
- *
- *    In parse_http_request() header rewriting miss the host value, so
- *    from http://www.mydomain.com the result was just " / " not
- *    http://www.mydomain.com/ in case we forward.
- *
- *    Revision 1.22  2001/09/10 10:58:53  oes
- *    Silenced compiler warnings
- *
- *    Revision 1.21  2001/07/31 14:46:00  oes
- *     - Persistant connections now suppressed
- *     - sed() no longer appends empty header to csp->headers
- *
- *    Revision 1.20  2001/07/30 22:08:36  jongfoster
- *    Tidying up #defines:
- *    - All feature #defines are now of the form FEATURE_xxx
- *    - Permanently turned off WIN_GUI_EDIT
- *    - Permanently turned on WEBDAV and SPLIT_PROXY_ARGS
- *
- *    Revision 1.19  2001/07/25 17:21:54  oes
- *    client_uagent now saves copy of User-Agent: header value
- *
- *    Revision 1.18  2001/07/13 14:02:46  oes
- *     - Included fix to repair broken HTTP requests that
- *       don't contain a path, not even '/'.
- *     - Removed all #ifdef PCRS
- *     - content_type now always inspected and classified as
- *       text, gif or other.
- *     - formatting / comments
- *
  *    Revision 1.17  2001/06/29 21:45:41  oes
  *    Indentation, CRLF->LF, Tab-> Space
  *
@@ -157,7 +66,7 @@ const char parsers_rcs[] = "$Id: parsers.c,v 1.33 2001/10/07 18:04:49 oes Exp $"
  *    CRLF -> LF
  *
  *    Revision 1.11  2001/05/29 20:11:19  joergs
- *    '/ * inside comment' warning removed.
+ *    '/* inside comment' warning removed.
  *
  *    Revision 1.10  2001/05/29 09:50:24  jongfoster
  *    Unified blocklist/imagelist/permissionslist.
@@ -283,14 +192,10 @@ const char parsers_rcs[] = "$Id: parsers.c,v 1.33 2001/10/07 18:04:49 oes Exp $"
 
 #include "config.h"
 
-#ifndef _WIN32
 #include <stdio.h>
 #include <sys/types.h>
 #include <stdlib.h>
 #include <ctype.h>
-#include<assert.h>
-#endif
-
 #include <string.h>
 
 #ifndef _WIN32
@@ -301,10 +206,15 @@ const char parsers_rcs[] = "$Id: parsers.c,v 1.33 2001/10/07 18:04:49 oes Exp $"
 #include "list.h"
 #include "parsers.h"
 #include "encode.h"
+#include "filters.h"
+#include "loaders.h"
+#include "showargs.h"
+#include "jcc.h"
 #include "ssplit.h"
 #include "errlog.h"
 #include "jbsockets.h"
 #include "miscutil.h"
+#include "cgi.h"
 
 const char parsers_h_rcs[] = PARSERS_H_VERSION;
 
@@ -329,32 +239,26 @@ const struct parsers client_patterns[] = {
    { "from:",                    5,    client_from },
    { "cookie:",                  7,    client_send_cookie },
    { "x-forwarded-for:",         16,   client_x_forwarded },
-   { "Accept-Encoding:",         16,   client_accept_encoding },
-   { "TE:",                      3,    client_te },
-#if defined(FEATURE_IMAGE_DETECT_MSIE)
+   { "proxy-connection:",        17,   crumble },
+#ifdef DENY_GZIP
+   { "Accept-Encoding: gzip",    21,   crumble },
+#endif /* def DENY_GZIP */
+#if defined(DETECT_MSIE_IMAGES)
    { "Accept:",                   7,   client_accept },
-#endif /* defined(FEATURE_IMAGE_DETECT_MSIE) */
-#ifdef FEATURE_FORCE_LOAD
+#endif /* defined(DETECT_MSIE_IMAGES) */
+#ifdef FORCE_LOAD
    { "Host:",                     5,   client_host },
-#endif /* def FEATURE_FORCE_LOAD */
+#endif /* def FORCE_LOAD */
 /* { "if-modified-since:",       18,   crumble }, */
-   { "Keep-Alive:",              11,   crumble },
-   { "connection:",              11,   crumble },
-   { "proxy-connection:",        17,   crumble },        
    { NULL,                       0,    NULL }
 };
 
 
 const struct parsers server_patterns[] = {
-   { "HTTP",                4, server_http },
    { "set-cookie:",        11, server_set_cookie },
    { "connection:",        11, crumble },
-   { "Content-Type:",      13, server_content_type },
-   { "Content-Length:",    15, server_content_length },
-   { "Content-MD5:",       12, server_content_md5 },
-   { "Content-Encoding:",  17, server_content_encoding },   
-   { "Transfer-Encoding:", 18, server_transfer_coding },
-   { "Keep-Alive:",        11, crumble },
+   { "Content-Type:",      13, content_type },
+   { "Content-Length:",    15, content_length },
    { NULL, 0, NULL }
 };
 
@@ -363,14 +267,11 @@ void (* const add_client_headers[])(struct client_state *) = {
    client_cookie_adder,
    client_x_forwarded_adder,
    client_xtra_adder,
-   client_accept_encoding_adder,
-   connection_close_adder, 
    NULL
 };
 
 
 void (* const add_server_headers[])(struct client_state *) = {
-   connection_close_adder, 
    NULL
 };
 
@@ -554,14 +455,14 @@ char *get_header(struct client_state *csp)
  *********************************************************************/
 char *sed(const struct parsers pats[], void (* const more_headers[])(struct client_state *), struct client_state *csp)
 {
-   struct list_entry *p;
+   struct list *p;
    const struct parsers *v;
    char *hdr;
    void (* const *f)();
 
    for (v = pats; v->str ; v++)
    {
-      for (p = csp->headers->first; p ; p = p->next)
+      for (p = csp->headers->next; p ; p = p->next)
       {
          /* Header crunch()ed in previous run? -> ignore */
          if (p->str == NULL) continue;
@@ -571,7 +472,7 @@ char *sed(const struct parsers pats[], void (* const more_headers[])(struct clie
          if (strncmpic(p->str, v->str, v->len) == 0)
          {
             hdr = v->parser(v, p->str, csp);
-            freez((char *)p->str); /* FIXME: Yuck! patching a list...*/
+            freez(p->str);
             p->str = hdr;
          }
       }
@@ -583,6 +484,14 @@ char *sed(const struct parsers pats[], void (* const more_headers[])(struct clie
       (*f)(csp);
    }
 
+   /* add the blank line at the end of the header, if necessary */
+   if ( (csp->headers->last == NULL)
+     || (csp->headers->last->str == NULL)
+     || (*csp->headers->last->str != '\0') )
+   {
+      enlist(csp->headers, "");
+   }
+
    hdr = list_to_text(csp->headers);
 
    return(hdr);
@@ -604,17 +513,13 @@ char *sed(const struct parsers pats[], void (* const more_headers[])(struct clie
  *********************************************************************/
 void free_http_request(struct http_request *http)
 {
-   assert(http);
-
    freez(http->cmd);
    freez(http->gpc);
    freez(http->host);
-   freez(http->url);
    freez(http->hostport);
    freez(http->path);
    freez(http->ver);
    freez(http->host_ip_addr_str);
-   freez(http->user_agent);
 
 }
 
@@ -640,7 +545,8 @@ void parse_http_request(char *req, struct http_request *http, struct client_stat
    int n;
 
    memset(http, '\0', sizeof(*http));
-   http->cmd = strdup(req);  
+
+   http->cmd = strdup(req);
 
    buf = strdup(req);
    n = ssplit(buf, " \r\n", v, SZ(v), 1, 1);
@@ -656,29 +562,41 @@ void parse_http_request(char *req, struct http_request *http, struct client_stat
          http->ver      = strdup(v[2]);
       }
 
-      /* or it could be any other basic HTTP request type */
-      if ((0 == strcmpic(v[0], "get"))
-       || (0 == strcmpic(v[0], "head"))
-       || (0 == strcmpic(v[0], "post"))
-       || (0 == strcmpic(v[0], "put"))
-       || (0 == strcmpic(v[0], "delete"))
-
-       /* or a webDAV extension (RFC2518) */
-       || (0 == strcmpic(v[0], "propfind"))
-       || (0 == strcmpic(v[0], "proppatch"))
-       || (0 == strcmpic(v[0], "move"))
-       || (0 == strcmpic(v[0], "copy"))
-       || (0 == strcmpic(v[0], "mkcol"))
-       || (0 == strcmpic(v[0], "lock"))
-       || (0 == strcmpic(v[0], "unlock"))
-       )
+#ifdef WEBDAV
+
+/* This next line is a little ugly, but it simplifies the if statement below. */
+/* Basically if using webDAV, we want the OR condition to use these too.      */
+
+/*
+ * by haroon
+ * These are the headers as defined in RFC2518 to add webDAV support
+ */
+
+#define OR_WEBDAV || \
+         (0 == strcmpic(v[0], "propfind")) || \
+         (0 == strcmpic(v[0], "proppatch")) || \
+         (0 == strcmpic(v[0], "move")) || \
+         (0 == strcmpic(v[0], "copy")) || \
+         (0 == strcmpic(v[0], "mkcol")) || \
+         (0 == strcmpic(v[0], "lock")) || \
+         (0 == strcmpic(v[0], "unlock"))
+
+#else /* No webDAV support is enabled.  Provide an empty OR_WEBDAV macro. */
+
+#define OR_WEBDAV
+
+#endif
+
+      /* or it could be a GET or a POST (possibly webDAV too) */
+      if ((strcmpic(v[0], "get")  == 0) ||
+          (strcmpic(v[0], "head") == 0) OR_WEBDAV ||
+          (strcmpic(v[0], "post") == 0))
       {
-         http->ssl    = 0;
-         http->gpc    = strdup(v[0]);
-         http->url    = strdup(v[1]);
-         http->ver    = strdup(v[2]);
+         http->ssl      = 0;
+         http->gpc      = strdup(v[0]);
+         url            = v[1];
+         http->ver      = strdup(v[2]);
 
-         url = v[1];
          if (strncmpic(url, "http://",  7) == 0)
          {
             url += 7;
@@ -694,7 +612,7 @@ void parse_http_request(char *req, struct http_request *http, struct client_stat
 
          if (url)
          {
-            if ((p = strchr(url, '/')))
+            if (p = strchr(url, '/'))
             {
                http->path = strdup(p);
                *p = '\0';
@@ -705,8 +623,15 @@ void parse_http_request(char *req, struct http_request *http, struct client_stat
              */
             else
             {
+               /* Repair hostport & path */
                http->path = strdup("/");
                http->hostport = strdup(url);
+
+               /* Even repair cmd in case we're just forwarding. Boy are we nice ;-)  */
+               freez(http->cmd);
+               http->cmd = strsav(http->cmd, http->gpc);
+               http->cmd = strsav(http->cmd, " / ");
+               http->cmd = strsav(http->cmd, http->ver);
             }
          }
       }
@@ -757,7 +682,7 @@ void parse_http_request(char *req, struct http_request *http, struct client_stat
 
    if (http->path == NULL)
    {
-      http->path = strdup("/");
+      http->path = strdup("");
    }
 
 }
@@ -781,7 +706,7 @@ void parse_http_request(char *req, struct http_request *http, struct client_stat
  * Returns     :  Always NULL.
  *
  *********************************************************************/
-char *crumble(const struct parsers *v, const char *s, struct client_state *csp)
+char *crumble(const struct parsers *v, char *s, struct client_state *csp)
 {
    log_error(LOG_LEVEL_HEADER, "crunch!");
    return(NULL);
@@ -791,45 +716,9 @@ char *crumble(const struct parsers *v, const char *s, struct client_state *csp)
 
 /*********************************************************************
  *
- * Function    :  server_content_type
- *
- * Description :  Set the content-type for filterable types (text/.*,
- *                javascript and image/gif) unless filtering has been
- *                forbidden (CT_TABOO) while parsing earlier headers.
- *
- * Parameters  :
- *          1  :  v = ignored
- *          2  :  s = header string we are "considering"
- *          3  :  csp = Current client state (buffers, headers, etc...)
- *
- * Returns     :  A duplicate string pointer to this header (ie. pass thru)
- *
- *********************************************************************/
-char *server_content_type(const struct parsers *v, const char *s, struct client_state *csp)
-{
-   if (csp->content_type != CT_TABOO)
-   {
-      if (strstr(s, " text/") || strstr(s, "application/x-javascript"))
-         csp->content_type = CT_TEXT;
-      else if (strstr(s, " image/gif"))
-         csp->content_type = CT_GIF;
-      else
-         csp->content_type = 0;
-   }
-
-   return(strdup(s));
-
-}
-
-
-/*********************************************************************
- *
- * Function    :  server_transfer_coding
+ * Function    :  content_type
  *
- * Description :  - Prohibit filtering (CT_TABOO) if transfer coding compresses
- *                - Raise the CSP_FLAG_CHUNKED flag if coding is "chunked"
- *                - Change from "chunked" to "identity" if body was chunked
- *                  but has been de-chunked for filtering.
+ * Description :  Is this a text/.* or javascript MIME Type?
  *
  * Parameters  :
  *          1  :  v = ignored
@@ -839,61 +728,14 @@ char *server_content_type(const struct parsers *v, const char *s, struct client_
  * Returns     :  A duplicate string pointer to this header (ie. pass thru)
  *
  *********************************************************************/
-char *server_transfer_coding(const struct parsers *v, const char *s, struct client_state *csp)
+char *content_type(const struct parsers *v, char *s, struct client_state *csp)
 {
-   /*
-    * Turn off pcrs and gif filtering if body compressed
-    */
-   if (strstr(s, "gzip") || strstr(s, "compress") || strstr(s, "deflate"))
-   {
-      csp->content_type = CT_TABOO;
-   }
-
-   /* 
-    * Raise flag if body chunked
-    */
-   if (strstr(s, "chunked"))
-   {
-      csp->flags |= CSP_FLAG_CHUNKED;
-
-      /*
-       * If the body was modified, it has been 
-       * de-chunked first, so adjust the header:
-       */
-      if (csp->flags & CSP_FLAG_MODIFIED)
-      {
-         return(strdup("Transfer-Encoding: identity"));
-      }
-   }
-
-   return(strdup(s));
-
-}
-
-
-/*********************************************************************
- *
- * Function    :  server_content_encoding
- *
- * Description :  Prohibit filtering (CT_TABOO) if content encoding compresses
- *
- * Parameters  :
- *          1  :  v = ignored
- *          2  :  s = header string we are "considering"
- *          3  :  csp = Current client state (buffers, headers, etc...)
- *
- * Returns     :  A duplicate string pointer to this header (ie. pass thru)
- *
- *********************************************************************/
-char *server_content_encoding(const struct parsers *v, const char *s, struct client_state *csp)
-{
-   /*
-    * Turn off pcrs and gif filtering if body compressed
-    */
-   if (strstr(s, "gzip") || strstr(s, "compress") || strstr(s, "deflate"))
-   {
-      csp->content_type = CT_TABOO;
-   }
+   if (strstr(s, " text/") || strstr(s, "application/x-javascript"))
+      csp->content_type = CT_TEXT;
+   else if (strstr(s, " image/gif"))
+      csp->content_type = CT_GIF;
+   else
+      csp->content_type = 0;
 
    return(strdup(s));
 
@@ -902,7 +744,7 @@ char *server_content_encoding(const struct parsers *v, const char *s, struct cli
 
 /*********************************************************************
  *
- * Function    :  server_content_length
+ * Function    :  content_length
  *
  * Description :  Adjust Content-Length header if we modified
  *                the body.
@@ -915,45 +757,15 @@ char *server_content_encoding(const struct parsers *v, const char *s, struct cli
  * Returns     :  A duplicate string pointer to this header (ie. pass thru)
  *
  *********************************************************************/
-char *server_content_length(const struct parsers *v, const char *s, struct client_state *csp)
+char *content_length(const struct parsers *v, char *s, struct client_state *csp)
 {
-   if (csp->content_length != 0) /* Content length has been modified */
+   if (csp->content_length != 0) /* Content has been modified */
    {
-      char * s2 = (char *) zalloc(100);
-      sprintf(s2, "Content-Length: %d", (int) csp->content_length);
+      s = (char *) zalloc(100);
+      sprintf(s, "Content-Length: %d", csp->content_length);
 
-      log_error(LOG_LEVEL_HEADER, "Adjust Content-Length to %d", (int) csp->content_length);
-      return(s2);
-   }
-   else
-   {
-      return(strdup(s));
-   }
-
-}
-
-
-/*********************************************************************
- *
- * Function    :  server_content_md5
- *
- * Description :  Crumble any Content-MD5 headers if the document was
- *                modified. FIXME: Should we re-compute instead?
- *
- * Parameters  :
- *          1  :  v = ignored
- *          2  :  s = header string we are "considering"
- *          3  :  csp = Current client state (buffers, headers, etc...)
- *
- * Returns     :  A duplicate string pointer to this header (ie. pass thru)
- *
- *********************************************************************/
-char *server_content_md5(const struct parsers *v, const char *s, struct client_state *csp)
-{
-   if (csp->flags & CSP_FLAG_MODIFIED)
-   {
-      log_error(LOG_LEVEL_HEADER, "Crunching Content-MD5");
-      return(NULL);
+       log_error(LOG_LEVEL_HEADER, "Adjust Content-Length to %d", csp->content_length);
+      return(s);
    }
    else
    {
@@ -963,74 +775,6 @@ char *server_content_md5(const struct parsers *v, const char *s, struct client_s
 }
 
 
-/*********************************************************************
- *
- * Function    :  client_accept_encoding
- *
- * Description :  Rewrite the client's Accept-Encoding header so that
- *                if doesn't allow compression, if the action applies.
- *                Note: For HTTP/1.0 the absence of the header is enough.
- *
- * Parameters  :
- *          1  :  v = ignored
- *          2  :  s = header string we are "considering"
- *          3  :  csp = Current client state (buffers, headers, etc...)
- *
- * Returns     :  A copy of the client's original or the modified header.
- *
- *********************************************************************/
-char *client_accept_encoding(const struct parsers *v, const char *s, struct client_state *csp)
-{
-   if ((csp->action->flags & ACTION_NO_COMPRESSION) == 0)
-   {
-      return(strdup(s));
-   }
-   else
-   {
-      log_error(LOG_LEVEL_HEADER, "Supressed offer to compress content");
-
-      if (!strcmpic(csp->http->ver, "HTTP/1.1"))
-      {
-         return(strdup("Accept-Encoding: identity;q=1.0, *;q=0"));
-      }
-      else
-      {
-         return(NULL);
-      }
-   }
-
-}
-
-
-/*********************************************************************
- *
- * Function    :  client_te
- *
- * Description :  Rewrite the client's TE header so that
- *                if doesn't allow compression, if the action applies.
- *
- * Parameters  :
- *          1  :  v = ignored
- *          2  :  s = header string we are "considering"
- *          3  :  csp = Current client state (buffers, headers, etc...)
- *
- * Returns     :  A copy of the client's original or the modified header.
- *
- *********************************************************************/
-char *client_te(const struct parsers *v, const char *s, struct client_state *csp)
-{
-   if ((csp->action->flags & ACTION_NO_COMPRESSION) == 0)
-   {
-      return(strdup(s));
-   }
-   else
-   {
-      log_error(LOG_LEVEL_HEADER, "Supressed offer to compress transfer");
-      return(NULL);
-   }
-
-}
-
 /*********************************************************************
  *
  * Function    :  client_referrer
@@ -1047,21 +791,20 @@ char *client_te(const struct parsers *v, const char *s, struct client_state *csp
  *                or modified header
  *
  *********************************************************************/
-char *client_referrer(const struct parsers *v, const char *s, struct client_state *csp)
+char *client_referrer(const struct parsers *v, char *s, struct client_state *csp)
 {
    const char * newval;
-   char * s2;
-#ifdef FEATURE_FORCE_LOAD
+#ifdef FORCE_LOAD
    /* Since the referrer can include the prefix even
     * even if the request itself is non-forced, we must
     * clean it unconditionally 
     */
    strclean(s, FORCE_PREFIX);
-#endif /* def FEATURE_FORCE_LOAD */
+#endif /* def FORCE_LOAD */
 
-#ifdef FEATURE_TRUST
+#ifdef TRUST_FILES
    csp->referrer = strdup(s);
-#endif /* def FEATURE_TRUST */
+#endif /* def TRUST_FILES */
 
    /*
     * Are we sending referer?
@@ -1092,11 +835,11 @@ char *client_referrer(const struct parsers *v, const char *s, struct client_stat
        * to fool stupid checks for in-site links
        */
       log_error(LOG_LEVEL_HEADER, "crunch+forge!");
-      s2 = strsav(NULL, "Referer: ");
-      s2 = strsav(s2, "http://");
-      s2 = strsav(s2, csp->http->hostport);
-      s2 = strsav(s2, "/");
-      return(s2);
+      s = strsav(NULL, "Referer: ");
+      s = strsav(s, "http://");
+      s = strsav(s, csp->http->hostport);
+      s = strsav(s, "/");
+      return(s);
    }
 
    /*
@@ -1107,13 +850,12 @@ char *client_referrer(const struct parsers *v, const char *s, struct client_stat
       /*
        * We have a specific (fixed) referer we want to send.
        */
-      char * s3;
 
       log_error(LOG_LEVEL_HEADER, "modified");
 
-      s3 = strsav( NULL, "Referer: " );
-      s3 = strsav( s3, newval );
-      return(s3);
+      s = strsav( NULL, "Referer: " );
+      s = strsav( s, newval );
+      return(s);
    }
 
    /* Should never get here! */
@@ -1126,11 +868,11 @@ char *client_referrer(const struct parsers *v, const char *s, struct client_stat
     * to fool stupid checks for in-site links
     */
    log_error(LOG_LEVEL_HEADER, "crunch+forge!");
-   s2 = strsav(NULL, "Referer: ");
-   s2 = strsav(s2, "http://");
-   s2 = strsav(s2, csp->http->hostport);
-   s2 = strsav(s2, "/");
-   return(s2);
+   s = strsav(NULL, "Referer: ");
+   s = strsav(s, "http://");
+   s = strsav(s, csp->http->hostport);
+   s = strsav(s, "/");
+   return(s);
 }
 
 
@@ -1138,9 +880,8 @@ char *client_referrer(const struct parsers *v, const char *s, struct client_stat
  *
  * Function    :  client_uagent
  *
- * Description :  Handle the "user-agent" config setting properly
- *                and remember its original value to enable browser
- *                bug workarounds. Called from `sed'.
+ * Description :  Handle the "user-agent" config setting properly.
+ *                Called from `sed'.
  *
  * Parameters  :
  *          1  :  v = ignored
@@ -1151,18 +892,11 @@ char *client_referrer(const struct parsers *v, const char *s, struct client_stat
  *                a malloc'ed string pointer to this header (ie. pass thru).
  *
  *********************************************************************/
-char *client_uagent(const struct parsers *v, const char *s, struct client_state *csp)
+char *client_uagent(const struct parsers *v, char *s, struct client_state *csp)
 {
    const char * newval;
-   char * s2;
-
-   /* Save the client's User-Agent: value */
-   if (strlen(s) >= 12)
-   {
-      csp->http->user_agent = strdup(s + 12);
-   }
 
-#ifdef FEATURE_IMAGE_DETECT_MSIE
+#ifdef DETECT_MSIE_IMAGES
    if (strstr (s, "MSIE "))
    {
       /* This is Microsoft Internet Explorer.
@@ -1170,7 +904,7 @@ char *client_uagent(const struct parsers *v, const char *s, struct client_state
        */
       csp->accept_types |= ACCEPT_TYPE_IS_MSIE;
    }
-#endif /* def FEATURE_IMAGE_DETECT_MSIE */
+#endif /* def DETECT_MSIE_IMAGES */
 
    if ((csp->action->flags & ACTION_HIDE_USER_AGENT) == 0)
    {
@@ -1185,9 +919,9 @@ char *client_uagent(const struct parsers *v, const char *s, struct client_state
 
    log_error(LOG_LEVEL_HEADER, "modified");
 
-   s2 = strsav( NULL, "User-Agent: " );
-   s2 = strsav( s2, newval );
-   return(s2);
+   s = strsav( NULL, "User-Agent: " );
+   s = strsav( s, newval );
+   return(s);
 
 }
 
@@ -1206,7 +940,7 @@ char *client_uagent(const struct parsers *v, const char *s, struct client_state
  * Returns     :  NULL if crunched, or a malloc'ed string to original header
  *
  *********************************************************************/
-char *client_ua(const struct parsers *v, const char *s, struct client_state *csp)
+char *client_ua(const struct parsers *v, char *s, struct client_state *csp)
 {
    if ((csp->action->flags & ACTION_HIDE_USER_AGENT) == 0)
    {
@@ -1236,10 +970,9 @@ char *client_ua(const struct parsers *v, const char *s, struct client_state *csp
  *                modified/original header.
  *
  *********************************************************************/
-char *client_from(const struct parsers *v, const char *s, struct client_state *csp)
+char *client_from(const struct parsers *v, char *s, struct client_state *csp)
 {
    const char * newval;
-   char * s2;
 
    if ((csp->action->flags & ACTION_HIDE_FROM) == 0)
    {
@@ -1259,9 +992,9 @@ char *client_from(const struct parsers *v, const char *s, struct client_state *c
 
    log_error(LOG_LEVEL_HEADER, " modified");
 
-   s2 = strsav( NULL, "From: " );
-   s2 = strsav( s2, newval );
-   return(s2);
+   s = strsav( NULL, "From: " );
+   s = strsav( s, newval );
+   return(s);
 
 }
 
@@ -1282,7 +1015,7 @@ char *client_from(const struct parsers *v, const char *s, struct client_state *c
  * Returns     :  Always NULL.
  *
  *********************************************************************/
-char *client_send_cookie(const struct parsers *v, const char *s, struct client_state *csp)
+char *client_send_cookie(const struct parsers *v, char *s, struct client_state *csp)
 {
    if ((csp->action->flags & ACTION_NO_COOKIE_READ) == 0)
    {
@@ -1317,7 +1050,7 @@ char *client_send_cookie(const struct parsers *v, const char *s, struct client_s
  * Returns     :  Always NULL.
  *
  *********************************************************************/
-char *client_x_forwarded(const struct parsers *v, const char *s, struct client_state *csp)
+char *client_x_forwarded(const struct parsers *v, char *s, struct client_state *csp)
 {
    if ((csp->action->flags & ACTION_HIDE_FORWARDED) == 0)
    {
@@ -1334,7 +1067,7 @@ char *client_x_forwarded(const struct parsers *v, const char *s, struct client_s
 
 }
 
-#if defined(FEATURE_IMAGE_DETECT_MSIE)
+#if defined(DETECT_MSIE_IMAGES)
 /*********************************************************************
  *
  * Function    :  client_accept
@@ -1352,9 +1085,9 @@ char *client_x_forwarded(const struct parsers *v, const char *s, struct client_s
  * Returns     :  Duplicate of argument s.
  *
  *********************************************************************/
-char *client_accept(const struct parsers *v, const char *s, struct client_state *csp)
+char *client_accept(const struct parsers *v, char *s, struct client_state *csp)
 {
-#ifdef FEATURE_IMAGE_DETECT_MSIE
+#ifdef DETECT_MSIE_IMAGES
    if (strstr (s, "image/gif"))
    {
       /* Client will accept HTML.  If this seems counterintuitive,
@@ -1366,12 +1099,12 @@ char *client_accept(const struct parsers *v, const char *s, struct client_state
    {
       csp->accept_types |= ACCEPT_TYPE_MSIE_IMAGE;
    }
-#endif /* def FEATURE_IMAGE_DETECT_MSIE */
+#endif /* def DETECT_MSIE_IMAGES */
 
    return(strdup(s));
 
 }
-#endif /* defined(FEATURE_IMAGE_DETECT_MSIE) */
+#endif /* defined(DETECT_MSIE_IMAGES) */
 
 
 
@@ -1392,11 +1125,11 @@ char *client_accept(const struct parsers *v, const char *s, struct client_state
  *********************************************************************/
 void client_cookie_adder(struct client_state *csp)
 {
-   struct list_entry *lst;
+   struct list *lst;
    char *tmp = NULL;
    char *e;
 
-   for (lst = csp->cookie_list->first; lst ; lst = lst->next)
+   for (lst = csp->cookie_list->next; lst ; lst = lst->next)
    {
       if (tmp)
       {
@@ -1405,7 +1138,7 @@ void client_cookie_adder(struct client_state *csp)
       tmp = strsav(tmp, lst->str);
    }
 
-   for (lst = csp->action->multi[ACTION_MULTI_WAFER]->first;  lst ; lst = lst->next)
+   for (lst = csp->action->multi[ACTION_MULTI_WAFER]->next;  lst ; lst = lst->next)
    {
       if (tmp)
       {
@@ -1434,32 +1167,6 @@ void client_cookie_adder(struct client_state *csp)
 }
 
 
-/*********************************************************************
- *
- * Function    :  client_accept_encoding_adder
- *
- * Description :  Add an Accept-Encoding header to the client's request
- *                that disables compression if the action applies, and
- *                the header is not already there. Called from `sed'.
- *                Note: For HTTP/1.0, the absence of the header is enough.
- *
- * Parameters  :
- *          1  :  csp = Current client state (buffers, headers, etc...)
- *
- * Returns     :  N/A
- *
- *********************************************************************/
-void client_accept_encoding_adder(struct client_state *csp)
-{
-   if (   ((csp->action->flags & ACTION_NO_COMPRESSION) != 0)
-       && (!strcmpic(csp->http->ver, "HTTP/1.1")) )
-   {
-      enlist_unique(csp->headers, "Accept-Encoding: identity;q=1.0, *;q=0", 16);
-   }
-
-}
-
-
 /*********************************************************************
  *
  * Function    :  client_xtra_adder
@@ -1474,10 +1181,9 @@ void client_accept_encoding_adder(struct client_state *csp)
  *********************************************************************/
 void client_xtra_adder(struct client_state *csp)
 {
-   struct list_entry *lst;
+   struct list *lst = csp->action->multi[ACTION_MULTI_ADD_HEADER];
 
-   for (lst = csp->action->multi[ACTION_MULTI_ADD_HEADER]->first;
-        lst ; lst = lst->next)
+   for (lst = lst->next; lst ; lst = lst->next)
    {
       log_error(LOG_LEVEL_HEADER, "addh: %s", lst->str);
       enlist(csp->headers, lst->str);
@@ -1522,66 +1228,6 @@ void client_x_forwarded_adder(struct client_state *csp)
    log_error(LOG_LEVEL_HEADER, "addh: %s", p);
    enlist(csp->headers, p);
 
-   freez(p);
-}
-
-
-/*********************************************************************
- *
- * Function    :  connection_close_adder
- *
- * Description :  Adds a "Connection: close" header to csp->headers
- *                as a temporary fix for the needed but missing HTTP/1.1
- *                support. Called from `sed'.
- *                FIXME: This whole function shouldn't be neccessary!
- *
- * Parameters  :
- *          1  :  csp = Current client state (buffers, headers, etc...)
- *
- * Returns     :  N/A
- *
- *********************************************************************/
-void connection_close_adder(struct client_state *csp)
-{
-   enlist(csp->headers, "Connection: close");
-}
-
-
-/*********************************************************************
- *
- * Function    :  server_http
- *
- * Description :  - Save the HTTP Status into csp->http->status
- *                - Set CT_TABOO to prevent filtering if the answer
- *                  is a partial range (HTTP status 206)
- *                - Rewrite HTTP/1.1 answers to HTTP/1.0 if +downgrade
- *                  action applies.
- *
- * Parameters  :
- *          1  :  v = parser pattern that matched this header
- *          2  :  s = header that matched this pattern
- *          3  :  csp = Current client state (buffers, headers, etc...)
- *
- * Returns     :  Copy of changed  or original answer.
- *
- *********************************************************************/
-char *server_http(const struct parsers *v, const char *s, struct client_state *csp)
-{
-   char *ret = strdup(s);
-   
-   sscanf(ret, "HTTP/%*d.%*d %d", &(csp->http->status));
-   if (csp->http->status == 206)
-   {
-      csp->content_type = CT_TABOO;
-   }
-
-   if ((csp->action->flags & ACTION_DOWNGRADE) != 0)
-   {
-      ret[7] = '0';
-      log_error(LOG_LEVEL_HEADER, "Downgraded answer to HTTP/1.0");
-   }
-   return(ret);
-
 }
 
 
@@ -1601,14 +1247,14 @@ char *server_http(const struct parsers *v, const char *s, struct client_state *c
  * Returns     :  `crumble' or a newly malloc'ed string.
  *
  *********************************************************************/
-char *server_set_cookie(const struct parsers *v, const char *s, struct client_state *csp)
+char *server_set_cookie(const struct parsers *v, char *s, struct client_state *csp)
 {
-#ifdef FEATURE_COOKIE_JAR
+#ifdef JAR_FILES
    if (csp->config->jar)
    {
       fprintf(csp->config->jar, "%s\t%s\n", csp->http->host, (s + v->len + 1));
    }
-#endif /* def FEATURE_COOKIE_JAR */
+#endif /* def JAR_FILES */
 
    if ((csp->action->flags & ACTION_NO_COOKIE_SET) != 0)
    {
@@ -1620,7 +1266,7 @@ char *server_set_cookie(const struct parsers *v, const char *s, struct client_st
 }
 
 
-#ifdef FEATURE_FORCE_LOAD
+#ifdef FORCE_LOAD
 /*********************************************************************
  *
  * Function    :  client_host
@@ -1636,21 +1282,19 @@ char *server_set_cookie(const struct parsers *v, const char *s, struct client_st
  * Returns     :  A malloc'ed pointer to the cleaned host header 
  *
  *********************************************************************/
-char *client_host(const struct parsers *v, const char *s, struct client_state *csp)
+char *client_host(const struct parsers *v, char *s, struct client_state *csp)
 {
    char *cleanhost = strdup(s);
  
-   if(csp->flags & CSP_FLAG_FORCED)
-   {
+   if(csp->force)
       strclean(cleanhost, FORCE_PREFIX);
-   }
  
    return(cleanhost);
 }
-#endif /* def FEATURE_FORCE_LOAD */
+#endif /* def FORCE_LOAD */
  
  
-#ifdef FEATURE_FORCE_LOAD 
+#ifdef FORCE_LOAD 
 /*********************************************************************
  *
  * Function    :  strclean
@@ -1684,7 +1328,7 @@ int strclean(const char *string, const char *substring)
 
    return(hits);
 }
-#endif /* def FEATURE_FORCE_LOAD */
+#endif /* def FORCE_LOAD */
 
 
 /*