(perl #127663) test that die/exit leave the original file

(perl #127663) discard any output if not closed properly

It can be closed by either iterating to the next file, or by
an explicit close(ARGVOUT);

move most of the work code from do_close to io_close()

(this commit will be rebased back to the top)

(perl #127663) test that setuid is preserved with nested in-place editing

This test fails previously.

(perl #127663) add more in-place edit tests

(perl #127663) all platforms no longer need a backup file

Since we do the work without touching the original file.

(perl #127663) ensure abandoned work files are cleaned up

If the user code that's processing in-place edit files exits or dies,
previously this would leave the in-place edit work file in place.

This patch deletes the temp file, abandoning the edit, which is a change
from the old in-place editing, so maybe this should do the normal
success processing currently done in do_close().

(perl #127663) don't test renaming directories if rename() isn't available.

Perl uses link() to implement rename() if the rename system call
isn't available, but using link() on directories varies between
unavailable and dangerous.

Since we haven't had any reports that of this test failing, it may
mean we don't need to fallback to link().

(perl #127663) use link when rename() isn't available

I suspect this is unnecessary, since unrelated tests failed without
rename(), but it's not a huge change.

Also, if rename() is available, attempt use link() to create the backup
so there's always some version of the original file.  Falls back to
rename() if the link() fails, since the filesystem might not support
link().

(perl #127663) WIP, safer in-place editing

Previously in-place editing opened the file then immediately
*replaced* the file, so if an error occurs while writing the output,
such as running out of space, the content of the original file is lost.

This changes in-place editing to write to a work file which is renamed
over the original only once the output file is successfully closed.

It also fixes an issue with setting setuid/setgid file modes for
recursive in-place editing.

The implementation (beyond some TODO issues below) has at least one
problem - if the user code changes directory between the file open and
the close then the final clean-up stage is going to fail if the input
name wasn't an absolute path.

This might be fixable, but on some systems it may put the perl process
in a difficult to recover from position - if the system doesn't
implement getcwd() perl may change directory out of the original and not
have a way to return to it.

Now the TODO issues:

- the code uses mkstemp() - solvable by adapting a BSD implementation if
the system doesn't provide it.

- the code uses rename() - I need to re-work the code to use link() /
UNLINK() where rename() isn't available

- perl -i.back -pe 'exit' foo # leaves an orphan work file, this might
be messy to fix (the fix would be trashing the work file, not moving it
over the original).

- where rename() and link() are available it might be desirable to link
the backup file to the original file then rename the temp over the
original so there's no point where the original doesn't exist.  This
would need to fallback to rename/rename just in case the system supports
link but the current filesystem doesn't.

- tests - existing tests caught one problem, but it needs more.

make sure the Perl_my_mkstemp() name is always available

(perl #127663) add our own mkstemp() implementation

this needs a couple of adjustments:

- needs a wrapper that calls either the system mkstemp() with a fallback
to Perl_my_mkstemp().

Not based on any particular implementation, the BSD implementations
tend to be wrappers around a megafunction that also does a few variations
of mkstemp() and mkdtemp(), which we don't need (yet.)

One implementation I found, part of the heimdal crypto library, was
simpler, but horrible.

use internal drand48() to innoculate against quadratic behaviour in pp_sort

use the "internal" random source to initialize hash randomization

(perl #127663) create a separate random souce for internal use

lib/locale.t: Better debug output

This output an array that was hopefully sorted, but the function it
calls sorts things itself, so the array looked sorted even if it
weren't.

lib/locale.t: Add note() function, for future use

utf8.h: Add comment clarification

perlapi: Add a clarification.

MANIFEST description typo

Correct 3 bad email addresses for 'perlbug'.

For: RT #128808

[perl #128769] base.pm: Localize @INC unconditionally

As Zefram pointed out in
<https://rt.perl.org/Ticket/Display.html?id=128769#txn-1414015>,
having inconsistent behaviour is going to cause more problems
than solves.

lib/locale.t: Clarify debug output

[perl #128740] Check for null in pp_ghostent et al.

Specifically in the S_space_join_names_mortal static function that
several pp functions call.  On some platforms (such as Gentoo Linux
with torsocks), hent->h_aliases (where hent is a struct hostent *) may
be null after a gethostent call.

[RT #128574] Missed one incorrect usage of fresh_perl_

[RT #128574] Fix use of fresh_perl in tests

(perl #128685) generate dependency rules for perlmain$(OBJ_EXT)

Without these rules changes to files like config.sh might not
result in perlmain.o being rebuilt.

Aristotle Pagaltzis improved this.

MANIFEST typo

Sorry for the smoke.

[perl #128769] Improve base.pm @INC '.' handling

• Localise @INC only if necessary.
• Don’t mention '.' in the @INC list in the error message, since it
  was not in the @INC that was searched (this is accomplished by local-
  ising @INC in the same scope as the error).
• If a file exists that would have been loaded had '.' not been
  ignored, mention it and suggest ‘use lib’.
• Use the same number of closing as opening parentheses in the
  error message.

Don’t trigger warnings for qq"@builtin"

Built-in arrays should not be giving warnings about possible unin-
tended interpolation (which happens with nonexistent arrays).

Some built-in variables do not exist if they are not needed, but perl
will generally pretend that they did already exist whenever they are
fetched.  It is such variables that trigger this warning erroneously:

$ ./miniperl -we 'sub dump_isa { warn "@ISA" } @ISA = ("foo","bar"); dump_isa'
Possible unintended interpolation of @ISA in string at -e line 1.
foo bar at -e line 1.

I discovered this when writing a test for @DB::args, using -w.
warnings.pm uses @DB::args, so ‘use warnings’ code won’t get the warn-
ing, but code using -w gets it:

$ ./miniperl -we 'sub foo { package DB { () = caller 0 } print "@DB::args\n" } foo(1..3);'
Possible unintended interpolation of @DB::args in string at -e line 1.
1 2 3

The code in toke.c that decides whether this warning should take place
needs to supply the GV_ADDMG flag to gv_fetchpvn_flags, making it one
of the code paths that engages in the pretence mentioned above.

That code already had an explicit exception for @+ and @-.  This com-
mit removes it as being no longer necessary.

t/lib/common.pl: Ignore editor droppings

This bites me all the time.

Exempt @DB::args from ‘used once’ warnings

A perfectly benign use of @DB::args like

sub foo { package DB { () = caller 0 } print "@DB::args\n" }
foo(1..3);

warns under -w, though that is exactly its intended use.  That is
is not nice.

warnings.pm itself uses @DB::args, which is why this went unnoticed
for so many years.

This commit eliminates the ‘used once’ warning, but the ‘Possible
unintended interpolation’ message that that code produces will be
handled in another commit.

Fix comment typos principal → principle

The ones in cpan/File-Temp/ have been submitted upstream as
https://github.com/Perl-Toolchain-Gang/File-Temp/pull/20

move platform list before function description (RT #128782)

perlport: remove getservbyport entry orphaned by 204ad8d57498ad6

perlport: eliminate function signatures missed in 47cd99a476cec

Pull in unnecessarily duplicated case "$opt".

perlport: major overhaul

- hyperlink function names
- hyperlink variable names
- hyperlink module names
- hyperlink $Config{...} entries
- hyperlink some C function names
- hyperlink ``/qx, tr///, bitwise operators, BEGIN
- remove bareword filehandles from examples
- remove 2-arg open from examples
- recommend 3-arg open always
- clean up weird formatting and use \Q \E in $Config{_exe} example
- mention Time::Piece (a core module) for date parsing (-> strptime)
- prefer 'use' for loading modules unless there's a reason to 'require'
- remove paragraph about using 'use bytes' to indicate that your source
  code is in some native 8-bit encoding (that's not what 'use bytes'
  does and its use is "strongly discouraged" anyway)
- consistently use 2 spaces after a period
- consistently spell $Config{foo} as $Config{foo}, not $Config{'foo'}
  sometimes
- fix some POD markup
- remove reference to 'pl2cmd' because I've never heard of it and all
  search results on the web point back to copies of perlport
- remove claim that binmode is a no-op on non-windows systems (that
  hasn't been true since the introduction of I/O layers and Unicode text
  files)
- realign some tables
- don't describe sets of characters as "matching tr/...//" because tr///
  isn't really a matching operator (it can be used to *count*, but
  that's not obvious to most people)
- remove nonsensical VOS example that claims to check the architecture
  by examining @INC but doesn't actually use @INC or check the
  architecture
- 'chown' can't be both "not implemented" and "implemented, but does
  nothing" on Win32
- remove "semantics of raise()" wording from 'kill' because it's unclear
  (raise doesn't send a signal to another process anyway)
- remove 'sockatmark' entry because there is no such built-in function
  (the closest thing I can find is IO::Socket->atmark, which already
  carries appropriate portability warnings)
- in 'stat', consistently refer to fields by their names from
  perlfunc/stat
- add myself to list of contributors

fix version numbering for dist/PathTools

I messed up my search and replace and didn't notice it when
committing.

locale.c: Revamp my_strerror() for thread-safeness

This commit is the first step in making locale handling thread-safe.

[perl #127708] was solved for 5.24 by adding a mutex in this function.
That bug was caused by the code changing the locale even if the calling
program is not consciously using locales.

Posix 2008 introduced thread-safe locale functions.  This commit changes
this function to use them if the perl is threaded and the platform has
them available.  This means that the mutex is avoided on modern
platforms.

It restructures the function to return a mortal copy of the error
message.  This is a step towards making the function completely thread
safe.  Right now, as documented, if you do 'use locale', locale handling
isn't thread-safe.

A global C locale object is created and used here if necessary.  It is
destroyed at the end of the program.

Note that some platforms have a strerror_r(), which is automatically
used instead of strerror() if available.  It differs form straight
strerror() by taking a buffer to place the returned string, so the
return does not point to internal static storage.  One could test for
the existence of this and avoid the mortal copy.

t/thread_it.pl: Increase Darwin stack size

The next commit causes one test in the suite to use more than the
previously allowed  max.

t/lib/warnings/pp_pack: Redundant tests

This commit:

commit 533367d84727b326a81c972a3555d6a7847a4558
Author: Jarkko Hietaniemi <[email protected]>
Date:   Sun Jun 24 22:24:49 2001 +0000

    Move the pack warnings to their own file, as pointed
    out by Spider.

copied several tests into pp_pack which have nothing to do with pack.  Most of them were still in pp, and were thus redundant.  The ‘Use of uninitialized value $a in scalar dereference’ test was removed from pp, but I see now that there is a nearly identical test elsewhere in pp, added by this commit:

commit 3b434eb14b7fab4ed6941403c71b683066ab60a2
Author: Rafael Garcia-Suarez <[email protected]>
Date:   Tue Sep 18 00:48:05 2001 +0200

    new tests
    Message-Id: <20010917224805.C11744@rafael>

Avoid emitting pack("p",...) warning erroneously

A value may legitimately be marked SvTEMP even when it is not about
to be freed.

handy.h: Add missing parens in macro

These should have been in the recent commit
6c5b02ac7a9ff1c91f2ca46bedd89ba9012bb34f

New bug numbers in *.[ch]

perl -pi -e 'BEGIN { %map = split " ", join "", `cat pb2rt.txt` } s/(?<!\d)\d{8}\.\d{3}(?!\d)/$& (#$map{$&})/g' *.[ch]

New bug numbers in lib/ and dist/, too

This is my quick-and-dirty script:

find dist -print0 | xargs -0 perl -pi -e 'BEGIN { %map = split " ", join "", `cat pb2rt.txt` } s/(?<!\d)\d{8}\.\d{3}(?!\d)/$& (#$map{$&})/g'

Tired of looking up old bug numbers

Some of this is ugly, but that’s because I wrote a one-liner to do
it.  It’s good enough for practical purposes.

Update Module-Load-Conditional to CPAN version 0.68

  [DELTA]

0.68    Fri Jul 29 08:01:12 BST 2016

* Fix unconditional @INC localisation

print the pop @INC to OUT instead of STDOUT

unimplemented_op does not implement pp_mapstart

POSIX.xs: Make NV_PAYLOAD_SIZEOF_ASSERT static

so that we get the benefit of the assertions for non-debugging builds
but without any run-time penalty.

Make switchDx.t more forgiving about newlines.

On VMS, the test suite collapses multiple newlines into one in
order to work around a bug in the pipe implementation, so the
test needs to allow for that.

handy.h: Consolidate some EBCDIC vs ASCII paths

This removes some '#ifdef EBCDIC' so as to make more code common between
the platforms.  This is at the expense of some efficiency, but the
affected code only runs when compiling utilities, so ease of maintenance
wins out.

handy.h: Add comment

handy.h: Generate compile error if macros called wrong

This extends the mechanism we added in 5.24 to more macros to make sure
that a macro is called with an integer and not a pointer.  It adds a

    "| 0"

to the macro parameter, which is illegal if the parameter is a pointer.

toke.c: White-space only

re-wrap a comment.

Increase $POSIX::VERSION to 1.71

[perl #128763] Fix POSIX.xs longdbl assertion

t/lib/common.pl: Ignore .rej files

Update Module-Load-Conditional to CPAN version 0.66

  [DELTA]

0.66    Wed Jul 27 08:22:53 BST 2016

* Add FORCE_SAFE_INC option to fix CVE-2016-1238

forgot the cfgvar

Follow-up from backporting work

Force inclusion of I_XLOCALE until it is actually used

[perl #128747] Fix line number bug with s//<<END/e

In commit 6745174b561 I changed the multi_open and multi_close
parser pastruct members (known as PL_multi_open/close in toke.c) from
char to UV.

I failed to change the localization code in S_sublex_start:

    SAVEI8(PL_multi_close);

So on big-endian architectures only the most significant byte would be
localized.  That meant that effectively no localization would happen
for ASCII string delimiters.

In S_sublex_done:

LEAVE;
if (PL_multi_close == '<')
    PL_parser->herelines += l - PL_multi_end;

That LEAVE undoes the localization.  '<' for PL_multi_close is a spe-
cial value that can only happen for here-docs.   The ->herelines line
makes sure that line numbers are correct after a here-doc.

What ended up happening was that s//<<END/e would throw off line num-
bers after the here-doc body.  PL_multi_close would end up being set
to '<', not '/', when the lexer was finishing up the s///, so it
treated it like a here-doc and screwed things up.  This resulted in
the test failures in ticket #128747.

I found that we also had a bug on little-endian machines.  But to get
the localization of the *least* sigificant byte to screw things up,
you have to try something other than s//<<END/e:

use utf8;
<<END;
${
#line 57
qq || }
END
warn;  # line 59

Replace the pipes with lightning bolts:

use utf8;
<<END;
${
#line 57
qq ϟϟ }
END
warn;  # line 7

and you get line 7 instead of 59.  In this case, the inner construct
has a delimiter character whose code is > 255, but only the lower
8 bits get localized.  So when the localization unwinds, you get
ord("ϟ") & 0xff | ord("<") instead of just ord("<"), resulting in the
here-doc line number handling being skipped.

This commit fixes the localization and adds the little-endian test.

Unmathomize save_iv

I need to call it from toke.c.

(perl #128438) build ppport.h instead of using a dummy file

The changes to parallelize win32 perl builds with dmake and gmake
assumed that ppport.h only provided macros and functions that are
already provided by the latest perl.

This turns out not to be the case, preventing the building of
a new Scalar-List-Utils with dmake and gmake.

I only briefly considered changing Scalar-List-Utils - the difference
in build systems is what lead to the failure, so properly build ppport.h
so that all Win32 builds have a full ppport.h just as POSIXish builds
do.

Configure: note that the infnan tests may crash.

(And in VAX, that is exactly what happens with the infinities.)

VAX: VAX format H

Configure: VAX format H

VAX: catch vax floats beyond VMS or Ultrix

VAX: document also formats S/T/X, and hidden bits

Though S, T, and X are not really pure VAX formats per se.

[perl #128630] follow-up on 6151d433

- test explicitly for $^O equivalence (faster, simpler),
  as suggested in #126380
- allow also \b-/i match of archname
- however, do not explicitly anchor the archname,
  as suggested in #126380, since if the regexp needs that, it can do so
- \Q-\E-protect the $^O, for paranoia
- for skip, use test.pl skip() instead of ok(1),
  pointed out privately by Dan Collins
- drop the newly added /xxx/ functionality to simplify things

PATCH: [perl #128734] tr/\N{...}/ failing for 128-255

The upper latin1 characters when expressed as \N{U+...} were failing.
This was due to trying to convert them to UTF-8 when the result isn't
UTF-8.  I added a test for \N{name} as well, though these were not
affected by this regression.

Add tests for runaway q«« strings

fixed by cb65013.

Handle missing Unicode heredoc terminators correctly

[perl #128701] Fix err msg for Unicode delimiters

The output of

    perl -CS -e 'use utf8; q«'

is now correctly:

    Can't find string terminator "«" anywhere before EOF at -e line 1.

Previously, the first byte of the delimiter (as encoded in UTF-8)
would be used instead:

    Can't find string terminator "Â" anywhere before EOF at -e line 1.

parser.h: Use UV for string delims

We will need to store characters > 255 in here.

Also, cast accordingly in toke.c.

(perl #127384)(CVE-2016-1238) port forward changes from maint

Some of these changes are unnecessary if we remove the default . from
@INC for 5.26.

(perl #127834) update CUSTOMIZED entries

cpan/: bump $VERSION as needed

cpan/: remove . from @INC when loading optional modules

dist/: bump $VERSION as needed

dist/: remove . from @INC when loading optional modules

I didn't update base.pm since that seems more likely to be loading
modules *expected* to be in the current directory.  Opinions
welcome.

bump perl5db.pl's $VERSION

Add a note about version numbering, since if we use X.XX_XX versions
in blead it's harder to find an unused version number if the module
is modified in maint.

perl5db.pl: ensure PadWalker is loaded from standard paths

(perl #127834) bump versions of modules in dists we updated a utility in

I tried to follow the numbering convention of the module,
bumping every module if the versions are synchronized, bumping
just the primary module if not.

(perl #127834) remove . from the end of @INC if complex modules are loaded

While currently Encode and Storable are know to attempt to load modules
not included in the core, updates to other modules may lead to those
also attempting to load new modules, so be safe and remove . for those
as well.

decl-refs.t: I also forgot foreach

decl-refs.t: I forgot to test \@ and \%

upgrade Module-Metadata to 1.000033

Add epigraphs for 5.22.3-RC2 and 5.24.1-RC2

5.22.3-RC2 and 5.24.1-RC2 today

Use tabs consistently in AUTHORS

Mixed tabs and spaces are tolerable in code, but they should not
be used in human-readable text files.

Add Chris R. Donnelly to AUTHORS

See commit 2f7a15bf0111, which failed to include this.

S_pop_eval_context_maybe_croak: silence warning

g++ is too dumb to notice that in

    SV *s;

    if (foo)
        s = ...;
    ...;
    if (foo)
        ...do something with s...;

s can't be used uninitialised.

fix g++ compiler warning

toke.c:4698:36: warning: enumeral and non-enumeral type in conditional expression [-Wextra]
      return REPORT(dojoin_was == 1 ? ')' : POSTJOIN);

I have no idea why mixing enums and non-emums is bad in C++. This commit
just casts the hell out the expression to shut it up.

PATCH: [perl 128686] regex compiler crashes

This was due to freeing a scalar before its final use

Switch the order of the two backtracking chapters in perlre

It makes more sense to explain what backtracking is first, and
then introduce the special backtracking control verbs.

This is just chapter swapping, no other edit has been done.
In other words this diff is basically:

    +=head2 Backtracking
     =head2 Special Backtracking Control Verbs
    -=head2 Backtracking
     =head2 Version 8 Regular Expressions

regcomp.c: Silence compiler warning

These functions are no longer needed in re_comp.c

Prepare Module-CoreList for 5.25.4