Let zalloc() use calloc() if it's available

In some situations using calloc() can be faster than
malloc() + memset() and it should never be slower.

In the real world the impact of this change is not
expected to be noticeable.

Sponsored by: Robert Klemme

Document the receive-buffer-size directive

Sponsored by: Robert Klemme

Add a receive-buffer-size directive

... which can be used to set the size of the previously statically
allocated buffer in handle_established_connection().

Increasing the buffer size increases Privoxy's memory usage but
can lower the number of context switches and thereby reduce the
cpu usage and potentially increase the throughput.

This is mostly relevant for fast network connections and
large downloads that don't require filtering.

Currently BUFFER_SIZE is kept as default and lower limit
but the default should be increased after some more testing.

A dtrace command like:
sudo dtrace -n 'syscall::read:return /execname == "privoxy"/ { @[execname] = llquantize(arg0, 10, 0, 5, 20); @m = max(arg0)}'
can be used to properly tune the receive-buffer-size.

If the buffer is too large it will increase Privoxy's memory
footprint without any benefit. As the memory is (currently)
cleared before using it, a buffer that is too large can
actually reduce the throughput.

Things could be improved further by upwards scaling the buffer
dynamically based on how much of the previous allocation
was actually used.

Additionally the buffer should be referenced through csp and
also be used for other receive-related functions.

Measured throughput when using four connections to
constantly request a 10 MB file:

~320 MB/s with the default
~400 MB/s with "receive-buffer-size    8192"
~490 MB/s with "receive-buffer-size   16384"
~610 MB/s with "receive-buffer-size   32768"
~700 MB/s with "receive-buffer-size   65536"
~755 MB/s with "receive-buffer-size  131072"
~795 MB/s with "receive-buffer-size  262144"
~804 MB/s with "receive-buffer-size  524288"
~798 MB/s with "receive-buffer-size 1048576"
~780 MB/s with "receive-buffer-size 2097152"

Sponsored by: Robert Klemme

Bump copyright

Make it more obvious that the --with-fdsetsize configure switch is pointless if poll() is available

Never use select() when poll() is available

On most platforms select() is limitted by FD_SETSIZE while
poll() is not. This was a scaling issue for multi-user setups.

Using poll() has no downside other than the usual risk
that code modifications may introduce new bugs that have
yet to be found and fixed.

At least in theory this commit could also reduce the latency
when there are lots of connections and select() would use
"bit fields in arrays of integers" to store file descriptors.

Another side effect is that Privoxy no longer has to stop
monitoring the client sockets when pipelined requests are
waiting but can't be read yet.

This code keeps the select()-based code behind ifdefs for
now but hopefully it can be removed soonish to make the
code more readable.

Sponsored by: Robert Klemme

Reduce chat()'s stack usage

... by removing a buffer that was left from a previous
refactoring.

Sponsored by: Robert Klemme

Register missing dependencies for fuzz.c and client-tags.c

Previously project.h modificiations would not result in
rebuilds of fuzz.o and client-tags.o. This could cause
SIGBUS crashes in case of structure changes etc.

Properly disable fuzz support when it hasn't been requested

Previously fuzz.o was compiled and linked in anyway
while the code was unreachable.

Add missing space

Add a 'reproducible-tarball-dist' target

It's currently separate from the "tarball-dist" target
because it requires a tar implementation with mtree spec
support.

It's far from being perfect and does not enforce a
reproducible mode, but it's better than nothing.

After the git migration it can probably be removed anyway.

Fix a path pattern explanation by extending it

Issue pointed out by Lee on privoxy-users@.

Fix a path pattern explanation

Fix typo

Add a web-homepage target

... which only updates the index.html

Add #158: Use a single thread to wait for new requests on reused client connections

Add #157: Add a directive to control the currently hardcoded receive-buffer size

Remove a pointless comment

Remove pointless-looking bzero() define for OS/2

bzero() isn't used anywhere in the file.

Regenerate homepage with updated sponsor footer

Remove ChameleonJohn from the sponsor footer on the homepage

The sponsor period started more than a year ago and
presumably they don't want to sponsor Privoxy for
another year (I asked but didn't get a reply).

Bump copyright

Use arc4random() if it's available

While Privoxy doesn't need high quality pseudo-random numbers
there's no reason not to use them when we can and this silences
a warning emitted by code checkers that can't tell whether or not
the quality matters.

Show the FEATURE_EXTERNAL_FILTERS status on the status page

Better late than never.

Previously a couple of tests weren't executed as
Privoxy-Regression-Test couldn't detect that the
FEATURE_EXTERNAL_FILTERS dependency was sattisfied.

Unblock msdn.microsoft.com/

It (presumably) isn't used to serve the kind of ads Privoxy should
block by default but happens to serve lots of pages with URLs that
are likely to result in false positives.

Reported by bugreporter1694 in AF#939.

Bump copyright

Add a client-header-tagger{client-ip-address} example

Use https in URLs for our website

Add TODO #156: Reject socks requests with an explicit error message

Disable gif deanimation for requests tagged with CSS-REQUEST

The action will ignore content that isn't considered text
anyway and explicitly disabling it makes this more obvious
if "action" debugging (debug 65536) is enabled while
"gif deanimation" debugging (debug 256) isn't.

As noted by Lee this could have been done in r1.333 already.

FAQ: Fix invalid syntax added in r2.134

Rebuild website index with updated copyright and sponsor trailer

Bump copyright

Move the 'Become a sponsor' link into the SGML source

... instead of inserting it at build-time through the
dok-webserver target.

Update sponsor trailer on the website to include the new sponsor 7binaryoptions.com

Use https:// for the  website

Bump copyright

Explicitly disable HTML filters for requests with CSS-REQUEST tag

The filters are unlikely to break CSS files but executing
them without (intentionally) getting any hits is a waste of
cpu time and makes the log more noisy when running with
"debug 64".

Fix spelling in a comment added in r1.173

Remove the 'View the source code version numbers' link from the CGI menu

It's rarely needed and likely to be completely removed
after the git migration anyway.

Add TODO #155: The sig_handler() shouldn't call log_error()

Explain why SIGPIPE is ignored and remove the 'FIXME: Why?' about it

Stop suggesting that Privoxy is an anonymizing proxy

The term could lead to Privoxy users overestimating
what it can do on its own (without Tor).

Ditch FEATURE_IMAGE_DETECT_MSIE

It's an obsolete workaround we inherited from Junkbuster
and was already disabled by default.

Users that feel the urge to work around issues with
image requests coming from an Internet Explorer version
from more than 15 years ago can still do this using tags.

Add TODO #154: Underline links in docs and cgi pages

Add TODO #153: Catch SIGINT and use it to close the listen socket

... but serve remaining connections.

Remove TODO #15: Block untrusted CGI requests to sensitive pages with status code 403

I recently implemented this without remembering that I had
previously added it to the TODO list.

Bump copyright

Make it more obvious that SPI accepts Paypal, too

Currently most donations are made through the Paypal account
managed bei Zwiebelfreunde e.V. and a more even distribution
would be useful.

Simplify template_fill_for_cgi()

privoxy-log-parser: Don't gather host and resource statistics if they aren't requested

While the performance impact seems negible this significantly
reduces the memory usage if there are lots of requests.

privoxy-log-parser: Prevent warnings when there are no connection timeouts or failures in the logs

The regressions were introduced in r1.165 and r1.166
and thus aren't relevant for the ChangeLog.

privoxy-log-parser: Bump version as the behaviour (slightly) changed

privoxy-log-parser: Bump copyright

privoxy-log-parser: Count connection failures as well in statistics mode

Sponsored by: Robert Klemme

privoxy-log-parser: Count connection timeouts as well in statistics mode

Sponsored by: Robert Klemme

Consistently use strdup_or_die() instead of strdup()

Allocation failures aren't expected here and using strdup_or_die()
allows to remove a couple of explicit error checks which slightly
reduces the size of the binary.

Change 'Sponsor FAQ' link text in the homepage footer to 'Become a sponsor'

Suggested by Ian.

privoxy-log-parser: Fix an 'uninitialized value' warning

... when generating statistics for a log file without response headers.

While privoxy-log-parser was supposed to detect this already,
the check was flawed and the message the user didn't see was
somewhat confusing anyway.

Now the message is less confusing, more helpful and actually printed.

Reported by: Robert Klemme

Rebuild user manual for 3.0.27 UNRELEASED

Rebuild AUTHORS

Bump copyright

Factor create_client_specific_tag() out of add_tag_for_client()

... to reduce code duplication and make bugs like the one
fixed in r1.8 less likely.

add_tag_for_client(): Set time_to_live properly

Previously the time_to_live was always set for the first tag.
Attempts to temporarily enable a tag would result in enabling
it permanently unless no tag was enabled already.

D'oh.

Insert a refresh tag into the /client-tags cgi page

... when serving it while a client-specific tag
is temporarily enabled.

This makes it less likely that the user ends up
looking at tag state that is out of date.

Let rsync take care of the permissions on the remote side

... instead of clowning around with find after rsync is done.

Remove a superfluous 'simply' and replace another one

Remove a superfluous 'simply'

Use absolute URLs in the client-tag forms

It's more consistent with the rest of the CGI page
URLs and makes it more convenient to copy the forms
to external pages.

Document the "trusted-cgi-referer" directive

Sponsored by: Robert Klemme

Add a 'trusted-cgi-referrer' directive

It allows to configure another page or site that can be used
to reach sensitive CGI ressources.

Example:
trusted-cgi-referer http://www.example.org/blafasel

Currently the parameter is a vanilla string (not a regular
expression) and has to match the beginning of the Referer
the client used to reach a harmful ressource.

Sponsored by: Robert Klemme

Add Yossi Zahn as contributor

Adjust contributor name order to get closer to alphabetical order again

Revert r1.165 which didn't perform as advertised

While the idea was to use "https:// when creating links
for the user manual on the website", the actual effect
was to use "https://" when Privoxy was supposed to serve
the user manual itself.

Reverting the commit is sufficient as the "use https://
when creating links for the user manual on the website"
use case is already covered by project.h r1.214.

Reported by Yossi Zahn on Privoxy-devel@.

Fix a comment

Add #152: Fix CSS references in the website documentation

Add fetch tests for /toggle-client-tag

Update /client-tags test now that a trusted Referer is no longer required

Bump for-privoxy-version to 3.0.27

... as we now rely on untrusted cgi request being
rejected with status code 403 (instead of 200).

Bumpy copyright

Update test for /send-stylesheet and add another one

cgi_error_disabled(): Use status code 403 and an appropriate response line

Bump copyright

Use a dedicated cgi handler to deal with tag-toggle requests

As a result the /client-tags page is now safe to reach without
trusted Referer header which makes bookmarking or linking to
it more convenient.

Finally, refreshing the /client-tags page to show the
current state can no longer unintentionally repeat the
previous toggle request.

Fix a TODO reference

Remove an obsolete reference to Privoxy 3.0.17

Suggest to log applying actions as well when reproducing problems

Remove a couple of SourceForge references in copyright headers

templates: Consistently use https:// when linking to our website

templates: Remove SourceForge references in Copyright header

templates: Remove a couple of SourceForge references in a comment

While at it, fix the grammar.

templates: Move the site-specific documentation block before the generic one

While most Privoxy installations don't have a site-specific
documentation block, in cases were it exists it's likely to
be more relevant than the generic one.

Showing it first makes it less likely that users stop reading
before they reach it, especially on pages that don't fit on
the screen.

Bump SMGL entities for 3.0.27 UNRELEASED

Regenerate HTML docs with recent changes

configure.in has been locally reverted to r1.204
to get 3.0.26 stable documentation that can be put
on the webserver before the next release.

Tidied with tidy 5.2.0 from http://www.html-tidy.org/.

As an expected side effect the diff is bloated enough
to be considered a "rewrite" by git (again), but using
a more recent tidy version should make it easier to
prevent frequent diff bloat in the future when building
on different platforms.

As an unexpected side-effect some pre tags are messed
up now and their first line contains bogus white-space
that causes rendering issues. This regression should
be analysed and fixed or worked around before the next
release but doesn't seem critical.

It's conceivable that the tidy upgrade caused less
obvious regressions that have yet to be found.

Add Clint Adams as contributor (Debian bug #848211)

Unblock adventofcode.com/

Reported by Clint Adams in Debian bug #848211.
Fixes Roland's AF#937.

Update copyright year and devel mailing list

Explicitly mention that Privoxy binaries are built by individuals on their own systems

Buyer beware!

Bump copyright

Add a link to the sponsor FAQ to the sponsor section on the homepage