Version bump

Added tag 0.7.3 for changeset f15d039cf625

Version 0.7.3.

Fixed typo while calculating module path length.

The issue was introduced in 77c398f26d7e (not released yet).

Fixed njs_vmcode_interpreter() when "toString" conversion fails.

Previously, while interpreting a user function, njs_vmcode_interpreter()
might return prematurely when an error happens.  This is not correct
because the current frame has to be unwound (or exception caught)
first.

The fix is exit through only 5 appropriate exit points to ensure
proper unwinding.

This closes #467 issue on Github.

Tests: introduced OPCODE debug.

Fixed allocation of large array literals.

Previously, allocation of large array literals may result in
null-pointer dereference. The reason is that njs_array_alloc() may
return a slow array when size is large enough, but the instruction
code assumes that array is always flat.

The fix is to check fast_array flag before accessing array->start.

This closes #473 issue on Github.

Fixed frame allocation from an awaited frame.

njs_function_frame_save() is used to save the awaited frame when "await"
instruction is encountered. The saving was done as a memcpy() of
existing runtime frame.

njs_function_frame_alloc() is used to alloc a new function frame, this
function tries to use a spare preallocated memory from the previous
frame first.  Previously, this function might result in "use-after-free"
when invoked from a restored frame saved with njs_function_frame_save().
Because njs_function_frame_save() left pointers to the spare memory of
the original frame which may be already free when saved frame is
restored.

The fix is to erase fields for the spare memory from the saved frame.

This closes #469 issue on Github.

Fixed Array.prototype.concat() when "this" is a slow array.

Previously, when the current appended element is fast array the "this"
array was expected to always be a fast array also.  This may not be the
case when the previous appended element was not fast thus converting
the "this" array to a slow form.

Previous fix introduced in 2c1382bab643 (0.7.2) was not complete, the
correct fix is to never assume "this" is fast, whereas njs_array_add()
may only be called with fast arrays.

This closes #471 issue in Github.

Refactoring of user modules importing.

Previously, user modules were compiled as as anonymous functions in a
global scope.  This is incorrect, because modules should be compiled
in their own scope.

In addition, this patch introduces HostResolveImportedModule support.
When vm->options.ops->module_loader is provided, a module lookup
and compilation is delegated to this callback.

This closes #443 issue on Github.

Tests: splitting large import tests into several simple ones.

Introduced njs_parser_init().

Fixed Function constructor in CLI.

Previously, Function constructor exported its local variables to
vm->variables_hash. vm->variables_hash is used in njs CLI to query
global variables during console input completion.  The exporting is
incorrect because it pollutes the global scope.

Fixed backtraces for native modules imported with import statement.

Previously, the module name was missing when exception is reported
for a native module function imported with import statement.

Fixed backtraces while traversing imported user modules.

Previously, njs_builtin_match_native_function(), which is used to build a
backtrace for an exception, assumed that user modules always return
object values, which is not the case.  As a result, njs_object_traverse()
may receive incorrect pointer.

This fix is to only traverse object values.

Tests: refactored modules tests using test262 test suite.

Tests: added support for proper negative test262 tests.

Types: added async/await support for TS files.

Since 0.7.0 async/await support was added.

This closes #461 issue on Github.

Shell: added options for custom exit failure code.

Version bump.

Added tag 0.7.2 for changeset 3dd315b80bab

Version 0.7.2.

Fixed function redeclaration.

Previously, the existing lambda structure was reused resulting in the
properties of the previously defined function was merged into a new one.

The bug was introduced in 66bd2cc7fd87 (0.7.0).

Fixed recursive async function calls.

Previously, PromiseCapability record was stored (function->context)
directly in function object during a function invocation.  This is
not correct, because PromiseCapability record should be linked to
current execution context.  As a result, function->context is
overwritten with consecutive recursive calls which results in
use-after-free.

This closes #451 issue on Github.

Fixed Function.prototype.apply() with slow arrays.

Previously, the function had two issues:
   * array->start was referenced without checking for fast array flag
   * the created arguments list was not sanity-checked for its length,
     which can be very large.

The fix is to remove micro-optimization for arrays and introduce limit
size for arguments list.

This closes #449 issue in Github.

Fixed type confusion bug while resolving promises.

Previously, the internal function njs_promise_perform_then() which
implements PerformPromiseThen() expects its first argument to always be
a promise instance.  This assertion might be invalid because the
functions corresponding to Promise.prototype.then() and
Promise.resolve() incorrectly verified their arguments.

Specifically, the functions recognized their first argument as promise
if it was an object which was an Promise or had Promise object in its
prototype chain.  The later condition is not correct because internal
slots are not inherited according to the spec.

This closes #447 issue in Github.

Improved access to this argument.

'this' argument is always present, so it may be accessed
without checking the number provided arguments.

Fixed Buffer.concat() with subarrays.

This closes #458 issue on Github.

2022 year.

Fixed Array.prototype.concat() with exotic argument object.

The issue was introduced in 2c1382bab643.

Fixed Array.prototype.reverse() when array is changed while iterating.

Previously, the flat array may be converted to a slow one as a
side-effect of a custom getter invocation for a proto array object.
The function erroneously assumed that the this array remains flat
while iterating.

The fix is to eliminate the micro-optimization which uses direct
pointers.

The problem is similar to the previous commits.

Simplified element access in Array.prototype.shift().

Previously, array structure may be left in inconsistent state
when a custom getter in a proto array changes array size.

The change is similar to the previous commits.

Simplified element access in Array.prototype.pop().

The change is similar to the previous commits.

Fixed Array.prototype.concat() when array is changed while iterating.

Previously, the flat array may be converted to a slow one as a
side-effect of a custom getter invocation for a proto array object.
The function erroneously assumed that the this array remains flat
while iterating.

The fix is to eliminate the micro-optimization which uses direct
pointers.

The problem is similar to the previous commits.

Fixed Array.prototype.slice() when array is changed while iterating.

Previously, the flat array may be converted to a slow one as a
side-effect of a custom getter invocation for a proto array object.
The function erroneously assumed that the this array remains flat
while iterating.

The fix is to eliminate the micro-optimization which uses direct
pointers.

The problem is similar to the previous (9578cc729205) commit.

This closes #445 issue on Github.

Fixed Array.prototype.join() when array is changed while iterating.

Previously, the function used optimization for ordinary arrays with no
gaps (so called fast arrays).  For a fast array code took elements
directly from internal flat C array. The direct pointer may become
invalid as side-effect of custom toString() method for an element.

Specifically, the pointer was passed directly to
njs_value_to_primitive() which attempts to call toString() followed by
valueOf().  When the array size is changed as a side-effect of
toString() and not a string value is returned by toString() the pointer
becomes invalid and is passed to valueOf() which causes use-after-free.

The fix is to eliminate the micro-optimization which uses direct pointers.

Found by PolyGlot fuzzing framework.

This closes #444 issue on Github.

Making njs_value_property_i64() and njs_value_property_i64_set() fast.

Since f5afb325896f (0.3.9) njs_value_property() and
njs_value_property_set() have fast paths when key is a number.

Passing key as a number eliminates conversion index to string and back.

Removing MSAN unpoison workarounds for clang-9 and below.

MSAN unpoison workaround was introduced in 13dbdff9b76f (0.3.9) for a
false-positive bug in clang-9 and below.

Also, after 80d95b2881f6 (0.4.1) the bug is not triggered anymore.

Fixed fuzzing target bug introduced in 4d4657128baf (0.7.1).

Previously, njs_process_script() took vm pointer from console object,
but after 4d4657128baf the object is not initialized in
LLVMFuzzerTestOneInput().

The fix is to always pass vm pointer explicitly.

This also closes #456 issue on Github.

Improved discovery of OpenSSL libraries.

Trying to link again the library using --cc-opt and --ld-opt before
attempting to use the default.

This change is similar to 9e2e4d04dfc4 (0.7.1) made for PCRE.

Configure: added --build-dir option.

Tests: fixed "fs" tests with custom build directory.

Configure: fixed custom NJS_BUILD_DIR values support.

The issue was introduced in 4d4657128baf (0.7.1).

This closes #454 issue on Github.

Added description for recently added configure options.

Types: added TS definitions for fs.stat() and fs.lstat() methods.

Version bump.

Added tag 0.7.1 for changeset 35aca5cc5ea7

Version 0.7.1.

Fixed information leak in Buffer.from().

This closes #446 on Github.

Improved Buffer.from() with Buffer-like objects.

Added missing element in typeof table for DataView() type.

Previously, typeof operation for DataView object resulted
in out of bounds array accessing.

This fixes #450 issue on Github.

Improved discovery of PCRE libraries.

Trying to link again the library using --cc-opt and --ld-opt before
attempting to use pcre-config or pcre2-config.

Passing --ld-opt flags while linking.

Building regexp backend as an external.

This allows not to build PCRE specific code as a part of libnjs.a thus
supporting nginx builds with flags like --with-pcre=PCRE_DIR.  When
--no-pcre configure option is provided external code have to implement
methods declared in njs_regex.h.

This also closes #18 issue on Github.

Adding module suffix for njs module files.

Introducing --no-openssl to disable OpenSSL discover.

Tests: added help info for test262.

Fixed 1-byte memory over-read introduced in previous commit.

sizeof("\0") returns 2 because of the implicit zero byte added at
the end of string literals. Instead njs_length() was intended to be
used.

Improved njs_ftw().

Replacing strcpy() with memcpy() as the former is considered
insecure.

Found by Clang static analyzer.

Tests: fixed fs/methods.t.ts on RHEL8.

Tests: improved test262 output when a test fails.

Fixed WebCrypto sign() and verify() methods with OpenSSL 3.0.1.

Since 3.0.1 EVP_DigestSignFinal() expects siglen to contain the
actual buffer size for signature buffer.

Added missed njs_parser_failed() in njs_parser_module_lambda_after().

Added missed static declarations.

Fixed OpenSSL detection support when Address Sanitizer is enabled.

Refactor modules using external prototypes.

Renaming njs_module_t -> njs_mod_t.

Tests: moving module tests into separate test suites.

Tests: moving backtraces test into a separate test suite.

Added constructor flag for methods in external prototypes.

Modules: removed dead code left after dfcbfb5e27b2.

Found by Coverity (CID 1495259).

Checking cwd path length in njs_module_relative_path().

Using njs_arr_item() when accessing vm->protos elements.

Modules: removed "js_include" directive deprecated in 0.4.0.

Generator: removing njs_generate_children_indexes_release_pop().

Generator: introduced njs_generator_init().

Generator: fixed typo introduced in efdc5f18195e (0.6.2).

Tests: improved unit tests after efdc5f18195e (0.6.2).

In efdc5f18195e the recursion was removed from generator,
therefore tests that are not limited by system stack should always
pass.

Fixed function redeclaration in CLI when interactive mode is on.

The issue was introduced in 0a2a0b5a74f4 (0.6.0).

Fixed execution of async function in synchronous context.

The bug was introduced in 92d10cd761e2 (0.7.0).

Tests: added promise support for unit tests subrequest method.

Added memory exception if alloc fails for njs_vm_function_alloc.

Fixed catching of exception thrown in try block of async function.

The bug was introduced in 92d10cd761e2 (0.7.0).

Tests: making async/await test filenames shorter.

Tests: refactored JavaScript tests.

A generic runner test/run is introduced.  It runs all available tests
in test/ directory.  JavaScript files are expected to be compliant with
Test262.

Allowing to build njs util without interactive shell support.

Fixed building unit tests binaries on MacOS with custom LDFLAGS.

Fixed exception throwing when RegExp match fails.

The issue was introduced in a83775113025 (0.1.15).

This closes #439 issue on Github.

Updated README with the reference to njs-examples repo.

Fixed build with OpenSSL 3.0 built with no-deprecated.

This covers deprecated OpenSSL_add_all_algorithms() and RSA/EC_KEY types.

SSL: fixed reporting of the detected library version.

Previously, `openssl version` command was used to report the OpenSSL
version.  Whereas, when provided with custom CFLAGS and LDFLAGS the
used library may differ from the system one.

The fix is to report OpenSSL version using the provided library.

Fixed WebCrypto sign() and verify() methods with OpenSSL 3.0.

Introduced PCRE2 RegExp backend.

RegExp: improved source string treatment.

Previously, njs_regexp_pattern_create() in addition to a pattern
compilation made a string representation for a RegExp which was returned
by RegExp.prototype.toString() as is.

After 02444445df29 (0.6.0), RegExp.prototype.toString() was implemented
according to the spec, and since then it creates a RegExp string on the fly.

This patch removes the extra code which was left.

In addition, as a source string may not be a valid UTF-8 string (in
RegExp literals), RegExp.prototype.toString() now ensures that a
valid UTF-8 string is returned.

RegExp: incapsulating PCRE API.

Tests: adapting fs tests introduced in 685adce92af1 for various OS.

Removed unused regular expression API.

PCRE: removed unused context functions.

Added fs.Stats, fs.stat() and friends.

Added njs_date_alloc().