Merge branch 'master' of ssh://git.privoxy.org:23/git/privoxy

receive_encrypted_request(): Use the socket-timeout when waiting for new data

Previously the keep-alive-timeout was being used which
was inappropriate as we are waiting for data that belongs
to the same request.

Sponsored by: Robert Klemme

receive_encrypted_request(): Properly deal with pending data

... that has already been received and is thus invisible to
data_is_available().

Previously encrypted client requests that were too large
to be read with a single ssl_recv_data() call could be
rejected as invalid if all the data arrived quickly enough.

Apparently this happended frequently on gmail due to
large Cookies.

Reported by: Robert Klemme
Sponsored by: Robert Klemme

Sync with updated 'Cautious' template

... which no longer enables the 'no-brotli-accepted' client-header filter.

This reverts commit 3e65e04181a1face1f3c3ef6e1481f674aa1a05f.

Stop enabling 'no-brotli-accepted' client-header filter in all templates again

... as we have FEATURE_BROTLI now.

This reverts commit c39e3b6489041ce5a4fa0c30481dd2cae3f4ce5a.

Remove #159 "Support Brotli compression." which is done

Bump copyright

Bump copyright

Add support for Brotli decompression

Using Google's brotli library:
https://github.com/google/brotli

Sponsored by: Robert Klemme

Add fast-redirects exception for .wikipedia.org/

ssl_send_certificate_error(): Add a doctype

Sponsored by: Robert Klemme

ssl_send_certificate_error(): Add a page title

Sponsored by: Robert Klemme

Don't add '-Imbedtls/include' to the CFLAGS when not building with mbedTLS

Sponsored by: Robert Klemme

configure.in: Start --with(out)-mbedtls descriptions with upper-case characters

Sponsored by: Robert Klemme

ssl_send_certificate_error(): Make it more obvious that the message is coming from Privoxy

Suggested by: Roland
Sponsored by: Robert Klemme

Disable fast-redirects for .consensu.org/delivery/pixel\.php and block the requests as image instead

Merge branch 'master' of ssh://git.privoxy.org:23/git/privoxy

privoxy-log-parser.pl: Unbreak the gathering of host statistics with http requests

... and CONNECT requests.

privoxy-log-parser.pl: Make gather_loglevel_clf_stats() more tolerant

While at it, count all CLF messages as requests,
even if the request is invalid.

privoxy-log-parser.pl: Highlight: "Waiting for the next client connection. Currently active threads: 30"

Add a couple of tests for +client-header-filter{no-brotli-accepted}

Register dependencies of the ssl object file so it is rebuild when needed

get_clf_timestamp(): Fix locking of localtime()

Previously we were only locking the actual localtime()
call while we should keep the lock until the returned
pointer is no longer being used.

get_locale_time(): Fix locking of localtime()

Previously we were only locking the actual localtime()
call while we should keep the lock until the returned
pointer is no longer being used.

get_clf_timestamp(): Use privoxy_gmtime_r()

Bump copyright

parse_header_time(): Use privoxy_gmtime_r()

Previously the function would use gmtime() unlocked
if FEATURE_STRPTIME_SANITY_CHECKS was enabled ...

client_if_modified_since(): Use privoxy_gmtime_r()

server_last_modified(): Use privoxy_gmtime_r()

add_cookie_expiry_date(): Use privoxy_gmtime_r()

generate_certificate_valid_date(): Use privoxy_gmtime_r()

Add privoxy_gmtime_r() so we can simplify some code

write_pid_file(): Rename pidfile to pid_file

So it doesn't shadow the global pidfile.

Fix the locking of gmtime()

Previously we were only locking the actual gmtime()
call while we should keep the lock until the returned
pointer is no longer being used.

generate_certificate_valid_date(): Fall back to using gmtime() if gmtime_r() isn't available

As Lee reported it's not available on Windows.

server(): Add colons that were missing in a log message

privoxy-log-parser.pl: Properly highlight the filter results message

Previously a brace got lost.

privoxy-regression-test.pl: Consistently use no space after function names

Log the "Request:" message for unencrypted requests later

In b94bbe62a I moved the block in front of the setting
of csp->http->client_ssl which meant the message was emitted
for encrypted requests as well.

This resulted in two "Request:" message instead of one.

Sponsored by: Robert Klemme

Disable fast-redirects for collector.githubapp.com/ and block requests to it as image instead

privoxy-regression-test.pl: Bump copyright

privoxy-regression-test.pl: Allow '[' and ']' in URLs

privoxy-regression-test.pl: Turn curl's globbing mode off so we can allow more characters in URLs

privoxy-regression-test.pl: Bump version to 0.7.1

privoxy-regression-test.pl: Include the action file when complaining about missing Sticky Actions

Regenerate FAQ

FAQ: Remove an obsolete comment with a link to the long-gone PDF manual

Bump copyright

FAQ: Add a link to the TODO list

FAQ: Mention http-inspection in two answers

Sponsored by: Robert Klemme

FAQ: Change the sponsor amounts to USD

... slightly rounding the converted amounts up to get simple numbers.

Receiving USD is apparently easier for SPI and SPI is
preferred by sponsors as they can send invoices.

No objections from: privoxy-devel@

Merge branch 'master' of ssh://git.privoxy.org:23/git/privoxy

Debian: Adapt TLS/SSL settings to Debian FHS.
Generate dirs with correct permissions for https-inspection.

Debian: Compile --with-mbedtls to allow https-inspection.

Debian: Update to new git version 8097d5 (update all patches)

Fix spelling of FEATURE_HTTPS_INSPECTION

... so the action editor actually allows to set
https-inspection and ignore-certificate-errors.

Reported by: Roland

Update http inspection section

It was still using +enable-https-filtering instead of +https-inspection.

Reported by: Roland

Improve an error message in chat()

... that is emitted when forwarding an encrypted
request through a HTTP proxy fails.

Sponsored by: Robert Klemme

Use the connect-failed template when the forwarding proxy fails

... with https inspection enabled. Forwarding the response from
the proxy to the client will not work as the client expects
an encrypted response.

Sponsored by: Robert Klemme

Improve a comment in chat()

... by removing an obsolete sentence and sprinkling a
couple of "the"s.

Sponsored by: Robert Klemme

Deduplicate some https inspection code in chat()

Once the connection to a HTTP proxy has been
established we can treat the connection the
same way as a direct one.

Sponsored by: Robert Klemme

Fix commment indentation

Sponsored by: Robert Klemme

Fix https inspection with HTTP forwarding

Previously Privoxy would not send the CSUCCEED
message to the client so the client would not
send the encrypted request.

Now that we send the CSUCCEED, we don't need to
forward the response from the upstream HTTP proxy
anymore.

Sponsored by: Robert Klemme

Fix comment typo

Sponsored by: Robert Klemme

privoxy-log-parser.pl: Accept and highlight: Forwarded the last 1954 bytes

privoxy-log-parser.pl: Accept and highlight: Forwarding 1954 bytes of encrypted POST data

privoxy-log-parser.pl: Completely highlight: 'Connection from 192.168.2.1 on 127.0.1.1:8118 (socket 3) dropped due to ACL'

Change the highlight type of the first IP address to "host"
instead of "Number".

privoxy-log-parser.pl: Rephrase a statistics description

... to clarify the client request bodies aren't counted.

privoxy-log-parser.pl: Prefer the number of CLF lines to get the total number of requests

As it works with older Privoxy versions as well.

Add #160: Add keep-alive support with +https-inspection.

Silence a warning when compiling without FEATURE_HTTPS_INSPECTION

    cgi.c:447:22: warning: unused variable 'alt_prefix_https' [-Wunused-variable]
       static const char alt_prefix_https[] = "https://" CGI_SITE_1_HOST "/";

Sponsored by: Robert Klemme

Add +https-inspection and +ignore-certificate-errors to the list of valid actions

Sponsored by: Robert Klemme

Add fast-redirects{} exception for sourcepoint.vice.com/

chat(): Remove a pointless close_client_ssl_connection() call

Sponsored by: Robert Klemme

Rephrase an error message in chat()

Sponsored by: Robert Klemme

Merge branch 'master' of ssh://git.privoxy.org:23/git/privoxy

privoxy-log-parser.pl: Accept and highlight: Performing the TLS/SSL handshake with client. Hash of host: bab5296b25e256c7b06b92b17b56bcae

privoxy-log-parser.pl: Accept and highlight: Flushed 30 bytes of request body while expecting 30

privoxy-log-parser.pl: Only show HTTP version distribution if at least one version has been detected

privoxy-log-parser.pl: Only show crunch statistics if crunches were detected

privoxy-log-parser.pl: Warn if the request counts differ

privoxy-log-parser.pl: Generate statistics if the log only contains LOG_LEVEL_CLF messages

... so it can be used with vanilla webserver logs.

Previously Privoxy-specific "Request:" messages were required.

privoxy-log-parser.pl: Consistently use no space after function names

privoxy-log-parser.pl: Align the client-HTTP-version distribution like other distributions

privoxy-log-parser.pl: Bump version to 0.9.1

privoxy-log-parser.pl: Include status code distribution in the stats

privoxy-log-parser.pl: Include the size of the content Privoxy transferred

... excluding HTTP headers.

privoxy-log-parser.pl: Bump copyright

privoxy-log-parser.pl: Get with the program and expect all requests to be logged with LOG_LEVEL_REQUEST

It's no longer necessary to count both LOG_LEVEL_REQUEST
and LOG_LEVEL_CRUNCH messages to get the total number of
requests.

privoxy-log-parser.pl: Leverage the LOG_LEVEL_CLF message

... to gather statistics that where previously taken
from LOG_LEVEL_HEADER lines.

This results in less confusing results if https inspection
is enabled in which case there are two LOG_LEVEL_HEADER
lines with request lines.

Sponsored by: Robert Klemme

Add fast-redirects exception for oss-fuzz.com/

Regenerate config file with updated 'debug 1' description and typo fixes

Regenerate docs with updated 'debug 1' description

It now logs all requests, not just the ones that passed through.

Update the 'debug 1' description

Let LOG_LEVEL_REQUEST log all requests

Previously unencrypted requests were only logged
with LOG_LEVEL_REQUEST when they weren't crunched
(in which case they were logged with LOG_LEVEL_CRUNCH).

This was documented behaviour, but logging all requests
seems more useful.

Bump copyright

Add a +delay-response{} test

remember_connection(): Add assertion to silence bogus cppcheck warnings

     gateway.c:221:23: error: Array 'reusable_connection[100]' accessed at index 100, which is out of bounds. [arrayIndexOutOfBounds]
        reusable_connection[slot].host = strdup_or_die(connection->host);
                           ^
     gateway.c:198:4: note: After for loop, slot has value 100
        for (slot = 0; slot < SZ(reusable_connection); slot++)
        ^
     [...]

Start using ssl_send_data_delayed()

... so the delay-response{} action works with SSL as well.

Sponsored by: Robert Klemme

Add ssl_send_data_delayed()

... a SSL version of write_socket_delayed().

Based on a patch by Vašek Švec.