Merge branch 'master' of ssh://git.privoxy.org:23/git/privoxy

unable to do a push - allarently i have to pull first

get rid of <cr><lf> line endings and trailing spaces

run 'dos2unix ldp.dsl.in' and then
vi ldp.dsl.in; :1,$ s/ $//

Regenerate for 3.0.26 (STABLE)

Regenerate homepage

Remove 7binaryoptions.com from the footer

Remove 7binaryoptions.com from the footer

The sponsored 12 months are up.

Fix parameter index in a comment

Fix parameter index in a comment

tell tidy the input is ISO-8859-1 & to not complain so much

docbook output is ISO-8859-1 and tidy just assumes ASCII
without the '-latin1' option you get things like
  line 86 column 13 - Warning: replacing invalid UTF-8 bytes (char. code U+00A9)
where docbook converts this
  <!entity  my-copy "&copy;">
  Copyright &my-copy; 2001-2017 by Privoxy Developers
to this
  Copyright © 2001-2017 by Privoxy Developers
and tidy strips out the copyright character.

with the '-latin1' option tidy leaves the copyright character as is.

options  -q --mute MISSING_ATTRIBUTE --mute TRIM_EMPTY_ELEMENT
just gets rid of verbose messages for things nobody is going to fix

rebuild docs

add windows/ build files from the old cvs winsetup/ directory

rebuild the docs

update the docs for the sourceforge.net/cvs => privoxy.org/git migration

remove all of the CVS "$Id: xxx" lines that GIT doesn't do anything with
bump the copyright and rebuild the docs

RIP CVS
no more automatic version number and change timestamp in the source :(

update the URL for the Privoxy TODO list

sourceforge cvs is no more :(
the TODO list is now kept in GIT and can be seen at
https://www.privoxy.org/gitweb/?p=privoxy.git;a=blob_plain;f=TODO;hb=HEAD

Use https for the FAQ link

TODO: Remove CVS id and update URL

Reported by Lee.

Update debian directory to 3.0.26-6 status.

get rid of a compiler warning

urlmatch.c:494:1: warning: ‘static’ is not at beginning of declaration [-Wold-style-declaration]
 jb_err static normalize_http_version(char *http_version)
 ^~~~~~

swap 'jb_err' and 'static' so that ‘static’ is at beginning of declaration

echo the filename to stderr for 'make dok-tidy'

make it a bit easier to find errors in docbook generated html

tidy doesn't show the filename it's working on, so if
you do a 'make dok-tidy' you get *lots* of output to
stderr but no clue as to which file has all those
errors/warnings

rebuild docs

have docbook generate valid html

http://validator.w3.org/check
fusses about 'end tag for element "P" which is not open'
if a table is inside a paragraph - eg
  <p><table> ... </table></p>

docbook 3.1 turns <screen> and <programlisting> into
html <table>s, so get rid of all the enclosing <para>s

problematic constructs:
<para><figure> ... </figure></para>
<para><itemizedlist> ... </itemizedlist></para>
<para><literal> ... </literal></para>
<para><orderedlist> ... </orderedlist></para>
<para><programlisting> ... </programlisting></para>
<para><screen> ... </screen></para>
<para><simplelist> ... </simplelist></para>

generate correct html - no &#13; chars

a blank line right after a <para>, <literallayout>, <screen>
or just before the closing tag causes docbook 3.1 to generate
a '&#13;'

eg: this sgml
 following patterns</quote>, and <literal>-block</literal> means <quote>don't
 block URLs that match the following patterns, even if <literal>+block</literal>
 previously applied.</quote>

</para>

<para>
 Again, actions are invoked by placing them on a line, enclosed in curly braces and

leads to this html:
>, and <TT
CLASS="LITERAL"
>-block</TT
> means <SPAN
CLASS="QUOTE"
>"don't
 block URLs that match the following patterns, even if <TT
CLASS="LITERAL"
>+block</TT
>
 previously applied."</SPAN
>&#13;</P
><P
> Again, actions are invoked by placing them on a line, enclosed in curly braces and

having "&#13;" right after the "</SPAN>" is just wrong.

make dok: don't run tidy on the docbook generated html

at least as of tidy 5.6.0, tidy -indent -wrap
breaks <pre> formatting if the line is wrapped

<pre>a long line
</pre>

when indented and wrapped ends up like this
      <pre>
      a long line
</pre>

The pre-formatted text shouldn't have leading spaces added.  It should look like
      <pre>
a long line
</pre>

use the wayback machine for the docbook site that no longer exists

 url="http://opensource.bureau-cornavin.com/crash-course/index.html"
$ nslookup opensource.bureau-cornavin.com.
** server can't find opensource.bureau-cornavin.com: Non-existent domain

rebuild docs

adjust <literallayout> lines to not exceed the line wrap length

Ideally we shouldn't be creating pre-formatted text that exceeds
the line wrap length.
manually editing files after generating them with 'make dok' is
for the birds..

add faq for what to do if editing the config file is access denied

workaround for tidy -indent -wrap breaking <pre> formatting

tidy -indent -wrap 78  messes up the formatting of a long
line following a <pre> tag by splitting the line into <pre>
and the text and indenting both.  eg
<pre>a really long line</pre>
is turned into
          <pre>
          a really long line</pre>
and we end up with lots of leading spaces.

change the line wrap to column 120 and hope that's enough
to keep this bug from happening

Update mail address of Roland Rosenfeld and fix indentation.

language nit

Stopping to watch is like parking at a scenic overlook to admire the scenery.
We're ignoring the scenery and continuing to drive.

Remove Id tag

Remove Id tag

Bump copyright

Remove id tag

fix typo in FAQ.

Expect a 404 for /show-version which no longer exists

Remove cgi_show_version()

It's no longer useful now that we are using git.

Eventually the git hash should be added to the
version number shown on each page.

Remove show_rcs() and the CVS ids it relied upon

fix comment
it's the nagle algorithm being disabled, so call it by it's name

Change write_pid_file()'s prototype to take the path as argument

Consistently use the U(ngreedy) flag in the 'img-reorder' filter

Add brief HTTP/2 FAQ

#121: Fix typo

Add a web-sponsors target to only update the sponsoring page

Add betrugstest.com as Privoxy sponsor

Regenerate docs

FAQ: Change two more SPI links to https

Fix server-response fuzzing

... which I broke when I added the receive-buffer-size directive.

When fuzzing, a zero-size buffer was used which resulted in all
fuzzing inputs that were supposed to be treated as server-response
being rejected.

Setting a receive_buffer_size in process_fuzzed_input() prevents
this. The other fuzzing modes weren't affected by the regression.

Bump copyright

pcrs_compile_replacement(): Remove an assertion that could be triggered with invalid input

Without the assertion the invalid input is properly rejected:
Error: Failed to compile pcrs replacement. Error: (pcrs:) Backreference out of range

This reverts one half of r1.50 which apparently wasn't
properly tested.

Remove an obsolete comment

Compile socks fuzzing code depending on FUZZ instead of FUZZ_SOCKS

We no longer allow to use a fuzzing build for non-fuzzing work
so unconditionally including the socks fuzzing code doesn't add
any additional inconvenience.

Add the pointer to the receive buffer to the csp

It allows to free it outside of handle_established_connection()
and will allow to use it in other functions in the future.

Streamline handle_established_connection()'s parameter list

csp references fwd already so there's no need to pass
it as separate parameter as well.

load_config(): Rearrange code to prevent a useless store

Warn when still using select()

Warn when compiling without calloc()

add 'make dok-tidy' to the list of things to do for a 'make dok'

bump copyright

get rid of another compiler warning on Windows for %llu

i686-w64-mingw32-gcc -c -pipe -O2 -DWINVER=0x501   -mwindows -Wall -Ipcre  parsers.c -o parsers.o
parsers.c: In function 'create_content_length_header':
parsers.c:4671:36: warning: unknown conversion type character 'l' in format [-Wformat=]
    snprintf(header, buffer_length, "Content-Length: %llu", content_length);
                                    ^
parsers.c:4671:36: warning: too many arguments for format [-Wformat-extra-args]

fix format specifier in log_error for unsigned long long variables

listen_loop(): Reuse a single thread attribute object

The object doesn't change and creating a new one for
every thread is a waste of (cpu) time.

Sponsored by: Robert Klemme

Remove an obsolete NULL check

Free csp resources in the thread that belongs to the csp

... instead of the main thread which has enough on
its plate already.

Sponsored by: Robert Klemme

Factor free_csp_resources() out of sweep()

Sponsored by: Robert Klemme

Fix a comment that described the effect of debug 1024 incorrectly

The comment is correct in the source file already but the config
file generation requires manual labour and the "[m]anual config fixes"
I applied in r1.100 (2009) added the comment at the wrong place.

Rebuild config file with enable-accept-filter documentation

Sponsored by: Robert Klemme

Rebuild user-manual with enable-accept-filter documentation

Sponsored by: Robert Klemme

Document the enable-accept-filter directive

Sponsored by: Robert Klemme

Rebuild config file with listen-backlog documentation

Sponsored by: Robert Klemme

Rebuild the user manual with listen-backlog documentation

Sponsored by: Robert Klemme

Document the listen-backlog directive

Sponsored by: Robert Klemme

Improve 'socket timeout reached' message

Log the timeout that was triggered and downgrade the
log level to LOG_LEVEL_CONNECT to reduce the log noise
with common debug settings.

The timeout isn't necessary the result of an error and
usually merely indicates that Privoxy's socket timeout
is lower than the relevant timeouts used by client and
server.

Sponsored by: Robert Klemme

Add a listen-backlog directive

Which specifies the backlog value passed to listen().

Sponsored by: Robert Klemme

Enable accept filter only once

Previously Privoxy would (attempt to) enable it before
each accept call which isn't necessary.

Sponsored by: Robert Klemme

Add an enable-accept-filter directive

Which allows to toggle accept filter support at
run time when compiled with FEATURE_ACCEPT_FILTER
support.

It makes testing more convenient and now that it's
optional we can emit an error message if enabling
the accept filter fails.

Sponsored by: Robert Klemme

Explicitly taint the server socket in case of CONNECT requests

This doesn't fix any known problems, but makes
some log messages less confusing.

Add fast-redirects exception for '.youtube.com/.*origin=http'

Update reference to the 'show-version' page

Update comments that still mentioned 'show-proxy-args' instead of 'show-status'

Remove list of supposedly declared functions from a comment

The list was out of date and people who care about the
information can simply scroll down a bit.

Unblock .golang.org/

Skip a regex if we don't need the captured result

At least in theory this is more efficient but the gains
don't seem impressive enough to be clearly measurable with
real world log files.

At least it looks faster now ...

get_content_length(): Replace an assertion with a compile-time check

Remove a mysterious comment with a GNU FDL link

... as it isn't useful and could confuse license scanners.

In May 2002 it was briefly claimed that "this document" was covered
by the GNU FDL. The commit message (r1.5) doesn't explain the motivation
or whether all copyright holders were actually asked and agreed to the
declared license change.

It's thus hard to tell whether or not the license change was legit,
but luckily two days later the "doc license" was "put" "back to GPL"
anyway (r1.6).

At the same time the offending comment with a link to the FDL
(not the GPL) was added for no obvious reason.

Now it's gone again.

Let write_pid_file() terminate if the pid file can't be opened

Logging the issue at info level is unlikely to help.

Rebuild HTML docs

Sponsored by: Robert Klemme

Rebuild AUTHORS

Regenerate config file with 'receive-buffer-size' and 'trusted-cgi-referer' sections

Sponsored by: Robert Klemme

Add a small fuzzing section to the developer documentation

Add Johan Sintorn as contributor

He reporting a performance issue in 2015 (SF#894, jbsockets.c,v 1.133).

Fix indentation in handle_established_connection()

rfc2553_connect_to(): Properly detect and log when poll() reached the time out

Previously this was logged as:
Could not connect to [...]: No error: 0.
which isn't very helpful.

The select() code path doesn't look like it would handle timeouts
properly either but apparently nobody noticed this yet ...

Sponsored by: Robert Klemme

Fix indentation

Let sockaddr_storage_to_ip() return void

The previous failure conditions weren't (supposed to be)
reachable and weren't consistently checked anyway.

Let sockaddr_storage_to_ip() assert that the address family is AF_INET or AF_INET6

Privoxy currently doesn't support any other address families
so there's no need to pretent to handle them.

Let sockaddr_storage_to_ip() assert that addr isn't NULL

Calling the function with a NULL pointer is unreasonable,
we currently don't do it (intentionally) and shouldn't start
to do it (intentionally) in the future.

Relocate the DEFAULT_KEEP_ALIVE_TIMEOUT definition to loadcfg.c

It's no longer referenced anywhere else.

Remove code that has been pointless since 2009

This should have been done with gateway.c r1.52 which
rendered the global keep_alive_timeout obsolete.