Merge debian changes from 3.0.34-4 and 3.0.34-5.

Improve wording of the HOWTOs.

uagen: Bump BROWSER_VERSION and BROWSER_REVISION

... to match Firefox ESR 128.

normalize_lws(): Only log the 'Reducing whitespace ...' message once per header

init_error_log(): Include the reason for failures to open the log file

wolfssl: Use log_error() more often

log_ssl_errors() is only supposed to be used for TLS-related errors.

wolfssl ssl_(send|recv)_data(): Call wolfSSL_ERR_clear_error() before doing any work

Prevents logging of bogus errors like:
15:53:27.932 009 Error: Sending data on socket 12 over TLS failed: RSA key too small
15:53:27.932 009 Error: Sending data on socket 12 over TLS failed: RSA key too small
15:53:27.932 009 Error: Sending data on socket 12 over TLS failed: RSA key too small
15:53:27.932 009 Error: Sending data on socket 12 over TLS failed: RSA key too small
15:53:27.932 009 Error: Sending data on socket 12 over TLS failed: RSA key too small
15:53:27.932 009 Error: Sending data on socket 12 over TLS failed: RSA key too small
15:53:27.932 009 Error: Sending data on socket 12 over TLS failed: RSA key too small
15:53:27.932 009 Error: Sending data on socket 12 over TLS failed: ECC key too small
15:53:27.932 009 Error: Sending data on socket 12 over TLS failed: error state on socket
15:53:27.932 009 Error: Sending data on socket 12 over TLS failed: Peer closed underlying transport Error
15:53:27.933 009 Error: Failed to send the modified content to the client over TLS

wolfssl ssl_store_cert(): Consistently use log_error() to log errors

Previously log_ssl_errors() was used which only works for TLS errors.

Prevents logging stale errors like:

15:10:34.153 007 Error: X509 certificate verification for www.youtube.com failed with error -161: ASN alternate name error
15:10:34.156 007 Error: wolfSSL_PEM_write_bio_X509() failed: RSA key too small
15:10:34.156 007 Error: wolfSSL_PEM_write_bio_X509() failed: RSA key too small
15:10:34.156 007 Error: wolfSSL_PEM_write_bio_X509() failed: RSA key too small
15:10:34.156 007 Error: wolfSSL_PEM_write_bio_X509() failed: RSA key too small
15:10:34.156 007 Error: wolfSSL_PEM_write_bio_X509() failed: RSA key too small
15:10:34.156 007 Error: wolfSSL_PEM_write_bio_X509() failed: RSA key too small
15:10:34.156 007 Error: wolfSSL_PEM_write_bio_X509() failed: RSA key too small
15:10:34.156 007 Error: wolfSSL_PEM_write_bio_X509() failed: ECC key too small
15:10:34.156 007 Error: wolfSSL_PEM_write_bio_X509() failed: ASN alternate name error
15:10:34.156 007 Error: wolfSSL_PEM_write_bio_X509() failed: ASN alternate name error
15:10:34.156 007 Error: ssl_store_cert() failed for cert 2
15:10:34.156 007 Error: Incomplete certificate information for www.youtube.com.

While at it, add periods to log messages.

Block requests for .amazon-adsystem.com/

Disable fast-redirects to duckduckgogg42xjoc72x3sjasowoarfbgcmvfimaftt6twagswzczad.onion/

Disable fast-redirects for .creator-spring.com/_next/image

Disable fast redirects for accounts.bahn.de/

wolfSSL shutdown_connection(): Shorten an error message

... to not include the return code which is always -1.

Bump copyright

Bump copyright

Bump copyright

Bump copyright

OpenSSL generate_key(): Check EVP_RSA_gen()'s return value

Factor out create_hexadecimal_hash_of_host()

Use SHA256 as hash algorithm for the certificate and key file names

... instead of MD5.

The known MD5 vulnerabilities shoulnd't matter for Privoxy's use case
but it doesn't hurt to use a hash algorithm that isn't deprecated.

Sponsored by: Robert Klemme

OpenSSL generate_key(): Use EVP_RSA_gen() when using OpenSSL 3.0 or later

Silences a bunch of deprecation warnings:

    openssl.c:1523:10: warning: 'RSA_new' is deprecated [-Wdeprecated-declarations]
     1523 |    rsa = RSA_new();
          |          ^
    /usr/local/include/openssl/rsa.h:201:1: note: 'RSA_new' has been explicitly marked deprecated here
      201 | OSSL_DEPRECATEDIN_3_0 RSA *RSA_new(void);
          | ^
    /usr/local/include/openssl/macros.h:182:49: note: expanded from macro 'OSSL_DEPRECATEDIN_3_0'
      182 | #   define OSSL_DEPRECATEDIN_3_0                OSSL_DEPRECATED(3.0)
          |                                                 ^
    /usr/local/include/openssl/macros.h:62:52: note: expanded from macro 'OSSL_DEPRECATED'
       62 | #     define OSSL_DEPRECATED(since) __attribute__((deprecated))
          |                                                    ^
    openssl.c:1540:10: warning: 'RSA_generate_key_ex' is deprecated [-Wdeprecated-declarations]
     1540 |    ret = RSA_generate_key_ex(rsa, RSA_KEYSIZE, exp, NULL);
          |          ^
    /usr/local/include/openssl/rsa.h:260:1: note: 'RSA_generate_key_ex' has been explicitly marked deprecated here
      260 | OSSL_DEPRECATEDIN_3_0 int RSA_generate_key_ex(RSA *rsa, int bits, BIGNUM *e,
          | ^
    /usr/local/include/openssl/macros.h:182:49: note: expanded from macro 'OSSL_DEPRECATEDIN_3_0'
      182 | #   define OSSL_DEPRECATEDIN_3_0                OSSL_DEPRECATED(3.0)
          |                                                 ^
    /usr/local/include/openssl/macros.h:62:52: note: expanded from macro 'OSSL_DEPRECATED'
       62 | #     define OSSL_DEPRECATED(since) __attribute__((deprecated))
          |                                                    ^
    openssl.c:1549:9: warning: 'EVP_PKEY_set1_RSA' is deprecated [-Wdeprecated-declarations]
     1549 |    if (!EVP_PKEY_set1_RSA(key, rsa))
          |         ^
    /usr/local/include/openssl/evp.h:1345:1: note: 'EVP_PKEY_set1_RSA' has been explicitly marked deprecated here
     1345 | OSSL_DEPRECATEDIN_3_0
          | ^
    /usr/local/include/openssl/macros.h:182:49: note: expanded from macro 'OSSL_DEPRECATEDIN_3_0'
      182 | #   define OSSL_DEPRECATEDIN_3_0                OSSL_DEPRECATED(3.0)
          |                                                 ^
    /usr/local/include/openssl/macros.h:62:52: note: expanded from macro 'OSSL_DEPRECATED'
       62 | #     define OSSL_DEPRECATED(since) __attribute__((deprecated))
          |                                                    ^
    openssl.c:1592:7: warning: 'RSA_free' is deprecated [-Wdeprecated-declarations]
     1592 |       RSA_free(rsa);
          |       ^
    /usr/local/include/openssl/rsa.h:293:1: note: 'RSA_free' has been explicitly marked deprecated here
      293 | OSSL_DEPRECATEDIN_3_0 void RSA_free(RSA *r);
          | ^
    /usr/local/include/openssl/macros.h:182:49: note: expanded from macro 'OSSL_DEPRECATEDIN_3_0'
      182 | #   define OSSL_DEPRECATEDIN_3_0                OSSL_DEPRECATED(3.0)
          |                                                 ^
    /usr/local/include/openssl/macros.h:62:52: note: expanded from macro 'OSSL_DEPRECATED'
       62 | #     define OSSL_DEPRECATED(since) __attribute__((deprecated))
          |                                                    ^

Add missing "#include <stddef.h>" to fix the build on macOS

... after 19d7684ca10f.

Prevents:
gateway.c:845:18: error: call to undeclared function 'offsetof'; ISO C99 and later do not support implicit function declarations [-Wimplicit-function-declaration]

Fixes SF#150.

GNUmakefile.in: Shorten warning

GNUMakefile.in: Let the install target work if no group is specified

GNUMakefile.in: Set GROUP_T when installing configuration files as root

... and there is no privoxy user available.

Prevents the install target from failing with:

     Installing templates to /tmp/etc/templates
     id: privoxy: no such user
     ******************************************************************
      WARNING! WARNING! installing config files as root!
      It is strongly recommended to run privoxy as a non-root user,
      and to install the config files as that user and/or group!
      Please read INSTALL, and create a privoxy user and group!
     *******************************************************************
     Installing configuration files to /tmp/etc
     Installing config as config.new
     usage: install [-bCcpSsUv] [-f flags] [-g group] [-m mode] [-o owner]
                    [-M log] [-D dest] [-h hash] [-T tags]
                    [-B suffix] [-l linkflags] [-N dbdir]
                    file1 file2
            install [-bCcpSsUv] [-f flags] [-g group] [-m mode] [-o owner]
                    [-M log] [-D dest] [-h hash] [-T tags]
                    [-B suffix] [-l linkflags] [-N dbdir]
                    file1 ... fileN directory
            install -dU [-vU] [-g group] [-m mode] [-N dbdir] [-o owner]
                    [-M log] [-D dest] [-h hash] [-T tags]
                    directory ...
     gmake: *** [GNUmakefile:865: install] Error 1

wolfSSL: Downgrade a log message to LOG_LEVEL_CONNECT

Bump copyright

Disable fast-redirect for archive.softwareheritage.org/

wolfSSL: Log if wolfSSL_shutdown() succeeds after retrying

privoxy-regression-test: Bump version

privoxy-regression-test: Bump copyright

privoxy-regression-test: Add --curl option to use a non-default curl binary

Remove obsolete parts of TODO item #1

Add Laurent Caumont as contributor

Bump copyright

is_untrusted_url(): Search the encrypted headers for the Referer

... when the client is using https and https inspection is enabled.

Fixes the trust mechanism for https requests.

Reported by Laurent Caumont in #1767.

is_untrusted_url(): Remove stray space

Remove stray space

Remove stray space

log_error(): Add missing space and new line in fatal error message

Remove silver sponsor scrubtheweb.com

Remove bronze sponsor vpnxpert.com

Remove bronze sponsor moneybanker.fr

Remove bronze sponsor www.betrugstest.com

Bump copyright

Add www.proxidize.com as Bronze level sponsor

wolfSSL: Use LIBWOLFSSL_VERSION_HEX to decide whether or not to use WOLFSSL_X509_V_OK

As Roland pointed out, in older wolfSSL releases X509_V_OK
is an enum so the previous commit 838bc3c0e did not work
as expected there.

wolfSSL: Unconditionally increment shutdown_attempts

Previously the succeeding attempt wasn't counted.

wolfSSL: Bump MAX_SHUTDOWN_ATTEMPTS to 5 as an experiment

privoxy-log-parser: Highlight 'Not shutting down client connection on socket 8. The socket is no longer alive.'

Bump copyright

wolfSSL: Use X509_V_OK if it's available

Older wolfSSL releases don't have WOLFSSL_X509_V_OK yet.

Reported by Roland [0].

[0]: <https://lists.privoxy.org/pipermail/privoxy-devel/2024-March/000759.html>

wolfSSL: Use variable type wc_Md5 instead of md5

As Roland reported [0] the latter may not be available.

[0] <https://lists.privoxy.org/pipermail/privoxy-devel/2024-March/000759.html>

wolfSSL: Use variable type WC_RNG instead of RNG

As Roland reported [0] the latter may not be available.

[0] <https://lists.privoxy.org/pipermail/privoxy-devel/2024-March/000759.html>

wolfSSL: Make it more obvious that Subject Alternative Name support is mandatory

Add Juliusz Sosinowicz as contributor

wolfSSL: Include wolfssl/openssl/pem.h

Apparently this is needed on some systems including Linux Mint 21.2.

Reported by by Juliusz Sosinowicz.

wolfSSL: Use WOLFSSL_X509_V_OK instead of X509_V_OK

They have the same value but X509_V_OK may need
an additional header.

Reported by withoutname in #1765.

privoxy-log-parser: Bump copyright

privoxy-log-parser: Highlight 'Keeping chunk offset at 0 despite flushing 31 bytes.'

handle_established_connection(): Add a period to a log message

Add test scenario acl-destination-permitted

Sponsored by: Privoxy project funds collected at SPI

Add test scenario acl-destination-denied

Sponsored by: Privoxy project funds collected at SPI

Add test scenario acl-ip-address-denied

Sponsored by: Privoxy project funds collected at SPI

Add test scenario acl-ip-address-permitted

Sponsored by: Privoxy project funds collected at SPI

tests/cts: When there's lots of POST data, read it from a file

... instead of the command line (two more tests affected).

tests/cts: When there's lots of POST data, read it from a file

... instead of the command line.

Makes it less likely that the curl executions fails due
to the argument list being too long.

Reported by: Roland

Sponsored by: Privoxy project funds collected at SPI

Add test scenario chunked-transfer-encoding-https

Sponsored by: Privoxy project funds collected at SPI

Test scenario chunked-transfer-encoding: Skip tests that require 'writesize' support

... in the curl test framework as the patch hasn't been upstreamed yet.

Add test scenario chunked-transfer-encoding

Sponsored by: Privoxy project funds collected at SPI

Add test scenario blocked-https-requests

Sponsored by: Privoxy project funds collected at SPI

Add test scenario gif-deanimation

Sponsored by: Privoxy project funds collected at SPI

Add test scenario client-tags

Sponsored by: Privoxy project funds collected at SPI

Add test scenario client-body-tagger-https

Sponsored by: Robert Klemme

Add test scenario client-body-tagger

Sponsored by: Robert Klemme

Add test scenario client-body-filter-https

Sponsored by: Privoxy project funds collected at SPI

Add test scenario client-body-filter

Sponsored by: Privoxy project funds collected at SPI

Add test scenario forward-to-socks-proxy

Sponsored by: Privoxy project funds collected at SPI

Add test scenario forward-to-http-proxy

Sponsored by: Privoxy project funds collected at SPI

Add test scenario pac-file-delivery

Sponsored by: Privoxy project funds collected at SPI

Add test scenario user-manual-https

Sponsored by: Privoxy project funds collected at SPI

Add test scenario user-manual-http

Sponsored by: Privoxy project funds collected at SPI

Add test scenario gzip compression

Sponsored by: Privoxy project funds collected at SPI

Add test scenario header-filters

Sponsored by: Privoxy project funds collected at SPI

Add test scenario content-filters

Sponsored by: Privoxy project funds collected at SPI

Add upstream-tests scenario

Sponsored by: Privoxy project funds collected at SPI

Add tests for redirects for https-inspected requests

Sponsored by: Privoxy project funds collected at SPI

Add redirect tests

Sponsored by: Privoxy project funds collected at SPI

Add tests for destination rewrite

Sponsored by: Privoxy project funds collected at SPI

Add tests for rewrite behind the client's back with https

Sponsored by: Privoxy project funds collected at SPI

Add tests for client-header-order with https-inspection enabled

Sponsored by: Privoxy project funds collected at SPI

Add client-header-order tests

Sponsored by: Privoxy project funds collected at SPI

Add a README for the tests based on the curl test suite (cts)

Contains improvements made after feedback from Roland.

Sponsored by: Privoxy project funds collected at SPI

Add run-privoxy-tests.sh

... which takes care of starting Privoxy before running tests.

Sponsored by: Privoxy project funds collected at SPI

Add logs directory for the tests based on the curl test suite

Sponsored by: Privoxy project funds collected at SPI

Add a generated test manifest file

.. to skip curl tests that aren't relevant for Privoxy or
are known not to work for other reasons.

Sponsored by: Privoxy project funds collected at SPI

Add a script to generate a runtests.pl exclude file for Privoxy

curl tests that are known not to work with Privoxy are skipped.

Sponsored by: Privoxy project funds collected at SPI

Add runtests-wrapper.sh

A wrapper around curl's runtests.pl.

Sponsored by: Privoxy project funds collected at SPI

Add privoxy-runtests.pm

Overwrites some of the functions used by curl's runtests.pl
to let it properly deal with Privoxy being used as proxy.

Sponsored by: Privoxy project funds collected at SPI

Add Fabrice Fontaine as contributor