Shell: fixed fuzzer harness to add NULL termination.

Guided-by: Dmitry Volyntsev <xeioex@nginx.com>
Signed-off-by: Ze Sheng <OwenSanzas@gmail.com>
Co-Authored-By: Claude Code <noreply@anthropic.com>

Making unit tests less brittle when libpcre2 changes.

This fixes #1011 issue on Github.

Version bump.

 Version 0.9.5.

QuickJS: added native module support in CLI.

QuickJS: added native module support.

Added "js_load_http_native_module" and "js_load_stream_native_module"
main nginx.conf level directives. The directives load a dynamic
library. For security reason it is only allowed in the main context.
Later, JS code may import modules loaded with these directives
with standard import syntax.

example.conf:
    ...
    js_load_http_native_module /path/to/lib.so;
    js_load_http_native_module /path/to/lib2.so as lib2;

    http {
        js_import main.js;
...

main.js:
    import * as lib from 'lib.so';
    import * as lib2 from 'lib2';
    ...

See quickjs.h for the complete QuickJS API reference and
nginx/t/js_native_module.t for a working example.

This closes #968 feature request on Github.

Modules: extracted config-time merging into separate function.

This introduces ngx_js_merge_conftime_loc_conf() to handle merging
of configuration-time properties.

Normally ngx_js_merge_conf() does all the default value initialization
for child location configurations.

There is a special case for global "http" or "stream" configuration
where the parent configuration needs to be initialized (so it can be
reused by server configurations if no additional directives were
defined in them). But parent configurations are not initialized by
ngx_js_merge_conf().

Most of the ngx_js_loc_conf_t values are only used at runtime, so
only configuration-time values need to be merged in the parent.
The runtime values will be provided from the appropriate
ngx_js_loc_conf_t during request processing.

Previously, configuration-time merging was done inline. Extracting
it into a dedicated function simplifies adding new configuration-time
properties.

QuickJS: fixed js_body_filter with multiple chunks.

Previously, last_key atoms was freed too early. Also, js_body_filter.t
is modified to ensure js_body_filter sees multiple data chains to catch
the issue.

HTTP: improved r.subrequest() error handling after d34fcb0 (0.8.5).

This reverts code changes introduced in d34fcb0. To fix the original
problem JS errors are not propagated as nginx errors in r.subrequest().

This also fixes a problem of a lost write event when the njs handler
making r.subrequest() is called from a lua handler as a subrequest:

nginx.conf:
    ...
    location = /subrequest {
        access_by_lua_file scripts/subrequest.lua;
proxy_pass  http://localhost:8080/pass;
    }

    location = /nested/subrequest {
        internal;
        js_content main.getToken;
    }

scripts/subrequest.lua:
    local res = ngx.location.capture('/nested/subrequest')
    ngx.log(ngx.STDERR, "Subrequest  status: " .. res.status)

    if res.status ~= 200 then
      ngx.log(ngx.STDERR, "Subrequest failed with status: " .. res.status)
      return nil
    end

    return res.body

main.js:
    async function getToken(r) {
        var reply = await r.subrequest('/api/auth');
        r.error("reply.status :: " + reply.status);

        var status = reply.status;
        r.return(status, "{"result":"OK!"}");
    }

    export default { getToken };

$ curl localhost:8080/subrequest

error.log (before the fix):
    ...
    *1 http js event finalize rc: 0
    *1 post event 0000B4BCA64C5FF0
    *1 http log handler
    *1 http request count:3 blk:0
    timer delta: 0
    posted event 0000B4BCA64C5FF0
    *1 delete posted event 0000B4BCA64C5FF0
    *1 http run request: "/subrequest?"
    *1 access phase: 11
    *1 lua access handler, uri:"/subrequest" c:2
    *1 lua run write event handler: timedout:0, ready:1, writing_raw_req_socket:0
    *1 useless lua write event handler <<<---

error.log (after the fix):
    ...
    *1 http js event finalize rc: 0
    *1 http posted request: "/nested/subrequest?"
    *1 http js content write event handler
    *1 http js content rc: 0
    *1 http finalize request: 0, "/nested/subrequest?" a:0, c:3
    *1 lua run post subrequest handler, rc:0 c:3
    *1 http log handler
    *1 http wake parent request: "/subrequest?"
    *1 http posted request: "/subrequest?"
    *1 access phase: 11
    *1 lua access handler, uri:"/subrequest" c:2
    *1 lua run subrequests done, resuming lua thread

Types: fixed CipherAlgorithm and Pbkdf2Params

Configure: respecting user provided CFLAGS.

See https://www.gnu.org/prep/standards/html_node/Command-Variables.html
and discussion in #990 issue on Github.

Configure: added option to configure position independent code flag.

HTTP: fixed buffer_type inheritance in if blocks.

Previously, when js_body_filter was used inside an if block that
evaluated to true, the data parameter received Buffer type instead
of the expected String type. This happened because buffer_type field
in ngx_http_js_loc_conf_t was not properly initialized, causing the
configuration merge to fail when nginx created a new location context
for if blocks.

This fixes #999 issue on Github.

Fixed js_body_filter when data is not in memory.

Previously, when upstream data was delivered from nginx cache
js_body_filter was not able to process it correctly. In particular,
it was treated as a chain of empty buffers.

The fix is to set r->filter_need_in_memory flag, which ensures
that ngx_http_core_module reads the data into memory before
js_body_filter sees it.

This fixes #992 issue on Github.

FS: fixed path restoration in fs.mkdir() and friends on error.

FS: fixed fs.mkdir() and friends.

Fixed missed allocation check in promise code.

Found by Coverity (CID 1646931, 1646932).

XML: fixed XMLNode update.

XML: fixed XMLAttr object.

Pointer to xmlAttr to which XMLAttr used to point might become invalid
when the parent XMLNode was modified.

The fix is to hold a pointer to xmlNode.

Removed non-compliant Buffer.prototype.length.

Fixed ArrayBuffer with detached buffers.

Added missing detached array checks.

Preserving strings are zero-terminated in njs_string_truncate().

This is linked to changes introduced in e7caa46.

CI: cancel stale workflows.

CI: using meson and pkg-config for QuickJS-NG.

Added pkg-config discovery for QuickJS-NG.

QuickJS: fixed compatibility issue with QuickJS-NG 0.11.0.

Modules: removed extra not needed QuickJS checks.

Using printing and parsing library from QuickJS.

- Number.prototype.toString(radix)
    Improved accuracy for edge cases
    Reimplemented using njs_dtoa2() with JS_DTOA_FORMAT_FREE | JS_DTOA_EXP_DISABLED
- Number.prototype.toFixed(frac)
    Reimplemented using njs_dtoa2() with JS_DTOA_FORMAT_FIXED
    Removed old njs_fixed_dtoa() implementation
- Number.prototype.toPrecision(prec)
    Reimplemented using njs_dtoa2() with precision format
    Removed old njs_dtoa_precision() implementation
- Number.prototype.toExponential(frac)
    Reimplemented using njs_dtoa2() with exponential format
    Removed old njs_dtoa_exponential() implementation
- parseInt()
    Simplified parsing implementation
    Removed custom njs_number_radix_parse() helper
- parseFloat()
    Simplified parsing implementation

Removed custom njs_number_bin_parse(), njs_number_oct_parse(),
njs_number_dec_parse() and njs_strtod.c module Better handling of large
numbers and denormal floats and invalid inputs.

Ensuring string values are zero-terminated.

This helps when some code requires a string value to be zero-terminated
to avoid copying and adding \0 byte.

It adds small overhead (less than 3% in worst case of an empty string
value) to existing sizeof(njs_value_t) + sizeof(njs_string_t) = 32.

Fixed --debug=YES build after d4cedc0.

Added Symbol.toPrimitive to Date and Symbol prototypes.

Added Object.hasOwn().

Fixed Object prototype methods according to the spec.

Added promises execution after njs.on('exit', ..) hook.

Modules: improved handling of results of async handlers.

Previously, r.setReturnValue() had to be used when returning a value from async js_set handler.

async function hash(r) {
    let hash = await crypto.subtle.digest('SHA-512', r.headersIn.host);
    r.setReturnValue(Buffer.from(hash).toString('hex'));
}

Now r.setReturnValue() is not needed:

async function hash(r) {
    let hash = await crypto.subtle.digest('SHA-512', r.headersIn.host);
    return Buffer.from(hash).toString('hex');
}

Also added promise handling in global qjs code.

Added API to work with promises.

Version bump.

Fetch: making sure catch handler is executed asynchronously.

Version 0.9.4.

Fetch: added forward proxy support with HTTPS tunneling.

Supports Basic authentication via Proxy-Authorization header.

- js_fetch_proxy - configures forward proxy URL. It takes proxy URL
    as a parameter. The URL may optionally contain user and password.
     Parameter value can contain variables. If value is empty,
     forward proxy is disabled.

example.conf:
...
  http {
      js_import main.js;

      server {
          listen 8080;

          resolver   127.0.0.1:5353;

          location /api {
              js_fetch_proxy http://user:pass@proxy.example.com:3128;
              js_content main.fetch_handler;
          }
      }
  }

This implements #956 feature request on Github.

Fetch: added default user agent.

Fetch: introduced ngx_js_chain_to_buf() helper function.

Fetch: refactored request building logic into separate function.

Fetch: introduced port and protocol helper macros.

Tests: making sure dns stub in js_fetch_https.t resolves only known hosts.

Fetch: simplified ngx_js_http_resolve().

Modules: added error handling when logging a js exception string.

QuickJS: fixed r.subrequest() to a location with JS handler.

Previously, when a subrequest location had a JS handler, an object of a
subrequest JS context was provided as an argument to a parent contexts.
This may cause all sorts of problems due to incorrect reference
counting.

After this change in bellard/quickjs@42eb2795 the bug became apparent.

Version bump.

Version 0.9.3.

Fixed heap-use-after-free in js_set handler.

The issue was introduced in commit 04f6dfb (0.9.2) by moving VM
destruction from the pool cleanup handler to the http cleanup handler.

Moving VM destruction to the http cleanup handler broke js_set variable
usage during the log phase, because these variables are called after the
VM has been destroyed.

The fix is to move VM destruction back to the pool cleanup handler, but
use a temporary pool while njs.on('exit', ...) is executing.

This fixes #969 and #971 issues on Github.

Module: fixed heap-use-after-free while module loading.

Making a copy of file argument because the engine may outlive
current ngx_cycle.

The bug became visible since 283282f (0.8.8).

Modules: fixed memory leak when module loading failed.

Fixed potential heap-use-after-free in njs_vm_compile_module().

Passing a local copy of name argument to njs_parser_init().

Version bump.

Readme: updated hero graphic.

Version 0.9.2.

Modules: fixed building when http_ssl and stream_ssl unavailable.

This fixes issue introduced in 7b3c8a66.

Fixed build with gcc-15 and -O3.

build/src/njs_object.dep -MT build/src/njs_object.o \ src/njs_object.c
In file included from src/njs_main.h:18, from src/njs_object.c:8: In
function ‘njs_utf8_copy’, inlined from ‘njs_object_enumerate_string’ at
src/njs_object.c:769:21: src/njs_utf8.h:115:20: error: writing 1 byte
into a region of size 0 [-Werror=stringop-overflow=] 115 |
*dst++ = c; |             ~~~~~~~^~~ src/njs_object.c: In function
‘njs_object_enumerate_string’: src/njs_object.c:719:24: note: at offset
4 into destination object ‘buf’ of size 4 719 |     u_char
buf[4], *c; |                        ^~~ In function ‘njs_utf8_copy’,
inlined from ‘njs_object_enumerate_string’ at src/njs_object.c:769:21:
src/njs_utf8.h:115:20: error: writing 1 byte into a region of size 0
[-Werror=stringop-overflow=]

GCC-15 does not know that the loop in njs_utf8_copy() is bounded
because the input is a valid UTF-8 here.

This fixes #967 issue on Github.

Fetch: added keepalive support for ngx.fetch() API.

This closes #957 feature request on Github.

Fetch: added parsing of HTTP version.

Modules: simplified access to nginx values from JS engines.

QuickJS: added njs.on('exit') API support.

This closes #955 issue on Github.

QuickJS: removed extra copy of body argument in ngx.fetch().

QuickJS: fixed potential heap-use-after-free.

Previously in QuickJS engine, fields allocated from memory pool linked
to QuickJS engine lifetime were stored in nginx data structs.

This causes a heap-use-after-free if QuickJS engine is destroyed
earlier than a last access from nginx. For example, it becomes
visible when moving NJS cleanup handler from pool->cleanup to
r->cleanup.

The fix is to only store references in nginx objects allocated from
nginx memory pool.

QuickJS: freeing temporary strings.

QuickJS: using enum instead of manual opaque id table.

QuickJS: fix nginx configure with not configured njs module.

This fixes issue #960 which was introduced in 8259f9a.

Modules: optimized memory consumption while streaming in qjs.

This allows to stream long tcp streams or large http response bodies
with low memory consumption.

This works only for qjs engine, because njs has no GC.

This fixes #943 issue on Github.

Modules: removing extra copy while streaming in qjs.

Tests: added TypedArray test for js_filter in stream.

Fixed building QuickJS support with clang 19.

checking for QuickJS library -lquickjs In file included from
build/autotest.c:6:
/home/xeioex/workspace/nginx/nginScript/quickjs/quickjs.h:1052:34:
error: cast from 'JSCFunctionMagic *' (aka 'struct JSValue (*)(struct
JSContext *, struct JSValue, int, struct JSValue *, int)') to
'JSCFunction *' (aka 'struct JSValue (*)(struct JSContext *, struct
JSValue, int, struct JSValue *)') converts to incompatible function type
[-Werror,-Wcast-function-type-mismatch] 1052 | return
JS_NewCFunction2(ctx, (JSCFunction *)func, name, length, cproto, magic);

-Wcast-function-type-mismatch become enabled by -Werror since
clang 19.

Modules: fixed incorrect config rejections introduced in d157f56.

d157f56 introduced configure time checks for js_set and js_periodic
directives. It turned out to be too strict.

The fix is to remove them completely as there is no way to track
variable usage context in configure time.

Modules: added configure time check when "js_import" is not defined.

Modules: fixed merging of js_path directives.

The issue initially appeared in 1b54abb (0.7.7).

Change: increasing the default stack size to 160k.

This change allows EarleyBoyer benchmark from
arewefastyet/benchmarks/v8-v7 to pass with default settings.

Previous commit 5e9a6d5 (v0.7.9) reduced the stack size to prevent stack
overflow when compiling with -O0 in computed goto mode, where native
stack frames for njs_vmcode_interpreter() consume ~80KB each. To address
this, we now set a lower maximum stack size specifically for unit tests.

This fixes #939 issue on Github.

Added CLA workflow.

Removed remnants of level hash.

Level hash has not been compiled since e64a376 (0.8.1) when flat hash was
introduced. However, the compatibility layer remained to reduce the diff.

Version bump.

Version 0.9.1.

Fixed property set for objects with a TypedArray in prototype.

The issue was introduced in 2f288a9c.

Optimized memory consumption by object hash.

The new hash takes 42% less memory per element.

Replaced constant by sizeof value.

Improved String.prototype.concat() with scalar values.

Fixed NULL pointer dereference when processing If-* headers.

Previously, when processing requests with If-Match and
If-Unmodified-Since headers worker process crashed.

For example with the following code:
try { r.return(200) }
catch (e) { r.internalRedirect() }

The fix is to disable not_modified filter as it was done in
nginx perl module nginx/nginx@d9887ee2.

Fixed RegExp compilation after 17124c81.

Previously, heap-buffer-overflow happened due to incorrect copying of
[...] regexp parts.

Found by OSS-Fuzz.

Removed not used njs_scope_create_index_value().

Removed useless njs_value_assign() call.

Simplified njs_object_prop_t.

Removed enum_in_object_hash which is only set when prop->type is
NJS_WHITEOUT and this check can be used instead.

Ignoring previous value in njs_flathsh_insert().

Previously, fhq->value was set to a previous value if the value existed.
This is not used anymore in the code.

Released temporary template literal memory.

Improved memory consumption of String.prototype.concat() with numbers.

Improved memory consumption for concatenation of numbers and strings.

Fixed invalid link in README.md.

Fixed regexp compilation of patterns with escaped '[' characters.

This fixes #934 issue on Github.

Modules: fixed qjs engine after bellard/quickjs@458c34d2.

Object leaks:
       ADDRESS REFS SHRF          PROTO CONTENT
0x512000007fc0    1 [module]
nginx: quickjs.c:1967: JS_FreeRuntime: Assertion `list_empty(&rt->gc_obj_list)' failed.

After bellard/quickjs@458c34d2 modules are treated as GC objects and
tracked in rt->gc_obj_list. Intermediary module object loaded in
ngx_qjs_clone() using JS_ReadObject() needed to be freed for proper
ref_count accounting.

Fetch: fixed handling of Content-Length header when body is provided.

body value length takes precedence over Content-Length from header list.

    https://fetch.spec.whatwg.org/#http-network-or-cache-fetch

    Let contentLength be httpRequest’s body’s length, if httpRequest’s body
is non-null; otherwise null.

    Let contentLengthHeaderValue be null.

    If httpRequest’s body is null and httpRequest’s method is `POST` or
`PUT`, then set contentLengthHeaderValue to `0`.

    If contentLength is non-null, then set contentLengthHeaderValue to
contentLength, serialized and isomorphic encoded.

    If contentLengthHeaderValue is non-null, then append (`Content-Length`,
contentLengthHeaderValue) to httpRequest’s header list.

This fixes #930 issue in Github.

Types: added TS definitions for WebCrypto ECDH.

Types: updated TS definitions.