dbus: Add function for running lconvert --repair on RAID LVs

tests: increase mirror size

On fast machines mirror throttling starts to react much later
so try bigger mirror size to fight with race in test.

man: update display fields

The --sort option belongs to  '-C' columned output only.
Also add short commmand description for specialized
vg/pv/lvdisplay command.

make: generate

tools: enhance lvdisplay vgdisplay pvdisplay

Split description for display commands so we can better describe
it's usage and combination of individual options in man page.

Now we can separately describe:

lvdisplay, lvdisplay -c, lvdisplay -C
vgdisplay, vgdisplay -c, vgdisplay -C
pvdisplay, pvdisplay -c, pvdisplay -C

TODO: Drop validation from command code itself.

args: add colon and column for pv/vg/lvdisplay

Better description for --colon and --column option for
pvdisplay, vgdisplay, lvdisplay.

man: clean

Both branches printed new line.

man: refactor check for variant

Remove unnecessary checks and move the comment to the 1st. check.

man: refactor printing option

When generating man pages, use a single function to print
option with its short & long name.

man: enhance handling of option description

Update the _print_man_option_desc() to also handle common parts
as the initial text without any specified section and also
add support for '#\n' to be able to revert to common part.

test: shellcheck: use quotation marks

test: shellcheck: add shell directive

Also add forgotten standard copyright message with shell reference.

shellcheck: separate declaration and assign

So the error exit code can be processed if needed...

shellcheck: validate cd success

WHATS_NEW: update

tests: improve tracing messages

Avoid printing lvm2 command trace, if the test finds the 'dmeventd'
was started unxpectedly during testing as the last command is hardly
ever responsible for this

Also reorder some messages when doing teardown of devices.

Do not print 'help' message from hostname command, when it does
not support option '-I'.

tests: check _tdata conversion to raid1

raid: fix name rotation

Since we now keep lv names valid all the time (as they are part
of radix_tree) - there is a problem with this renaming code, that
for a moment used duplicated name in vg struct.

Fix it by interating LVs backwared - which avoids breaking consitency
and also actually makes code more simple.

tests: aux check for leaked symlinks

Add check for 'leaked' symlinks after test and trap
the case when some 'danglink' links are present.
This might be some problem with udev synchronization
or some other strange race.

All such symlinks will be also removed so they will not
influence following tests.

tests: check vdo minimum_io_size

debug: remove unused define

device_mapper: suppress warns about inactive query

When command prints warning about suppressing query
for inactive table, because this is not supported
by kernel - 1 printed message is just enough, no
reason to 'spam' command output all the time, message
will remain only in debug log.

Also drop 'WARNING:' from real 'error' message.
WARNIGS are supposed to be just warning and command
then exists with 'success'.

vdo: fix input units for minimim_io_size

When specifying minimum_io_size with --vdosettings,
command assumed wrong unit (sectors).

So '--vdosettings minimum_io_size=512|4096' resulted into
an error that only 512 or 4096 values are allowed, but
at the same time values  1 or 8 were accepted.

So fix by converting any number >= 512 to 'sectors' and
keep input of 1 or 8 still valid if anyone has been using
this before.

So now we take  512 or 4096  and still also  1 or 8 with the
same effect.

Also correct the 'error' message when invalid minimum_io_size
is specified.

WHATS_NEW: update

tests: remove superfluous -a option for df used in lvresize-xfs.sh

The df -a looks at whole system and it returns an error code in case
there's an inaccessible fs which is not even part of the testing environment.
The -a for df is not actually needed here in the lvresize-xfs test, so remove it.

lv_manip: use the same param validation for RAID 0 as for RAID 1/4/5/6

This actually reverts commit 83ae675f8df53010c984b78d0318d0d92d5ac83a.

lv_manip: fix stripe count and size validation for RAID LVs

Fix stripe count and size parameter validation for RAID LVs and
include existing automatic setting of these parameters based
on current shape of the RAID LV in case these are not set
on command line fully.

Previously, this was done only to a certain subset given by this
condition (where the 'stripes' is the '-i|--stripes' cmd line arg
and  the 'stripe_size' is actually the '-I|--stripesize' cmd line arg):

  !(stripes == 1 || (stripes > 1 && stripe_size))

This condition is a bit harder to follow at first sight and there
are no comments around with explanation for why this one is used,
so let's analyze it a bit more.

First, let's convert this to an equivalent condition (De Morgan law)
so it's easier to read for humans:

  stripes != 1 && !(stripes > 1 && stripe_size)

Note: Both stripe and stripesize are unsigned integers, so they can't be negative.

Now, based on that condition, we were running the code to deduce the
stripe/stripesize and do the checks ("the code") only if both of these
are true:

  - stripes is different from 1

  - we don't have stripes > 1 and stripe_size defined at the same time

But this is not correct in all cases, because:

  A) if someone uses stripes = 0, then "the code" is executed
    (correct)

  B) if someone uses stripes = 1, then "the code" is not executed
    (wrong: we still need to be able to check the args against
            existing RAID LV stripes whether it matches)

  - if someone uses stripes > 1, then "the code" is:

     C) if stripe_size = 0, executed
       (correct)

     D) if stripe_size > 0, not executed
       (wrong: we still want to check against existing RAID LV stripes)

Current issues with this condition:
  The B) ends up with segfault.

    ❯ lvextend -i 1 -l+1 vg/lvol0
      Rounding size 4.00 MiB (1 extents) up to stripe boundary size 8.00 MiB (2 extents).
    Segmentation fault (core dumped)

  The D) ends up with errors like:

    ❯ lvextend -i 3 -l+1 -I128k vg/lvol0
      Rounding size 4.00 MiB (1 extents) up to stripe boundary size 8.00 MiB (2 extents).
      Rounding size (4 extents) up to stripe boundary size for segment (5 extents).
      Size of logical volume vg/lvol0 changed from 8.00 MiB (2 extents) to 20.00 MiB (5 extents).
      LV lvol0: segment 1 with len=5  has inconsistent area_len 3
      Couldn't read all logical volumes for volume group vg.
      Failed to write VG vg.

Conclusion:
  The condition needs to be removed so we always run "the code" to check
  given striping args given on command line against existing RAID LV
  striping. The reason is that we don't want to allow changing stripe
  count for RAID LVs through lvextend and we need to end up with the
  error:
    "Unable to extend <RAID segment type> segment type with different number of stripes"

  (We do support changing the striping by lvconvert's reshaping functionality only).

makefiles: flip condition

With previous commit, in this case we need to flip condition,
to make it working here as expected.

gcc: do not mix signess compare

gcc: make older compilers happier

Use {{}} for array initializer to quite warning for older gcc.

makefiles: eliminate error output

Hide error message from 'find', if the 'lib' dir has
not been create yet (in case of non-srcdir build).

makefiles: use filter

makefiles: fix clean rule for non srcdir builds

With commit acbeaa7a8d86acc0f0e3c04723d066d995f29fe5 we started
to use symlinks to link test suite shell scripts, however
they remained within CLEAN_TARGETS.
So when running 'make clean' within non-srcdir build dir, we
were cleaning actuall shell script in this dir.
So remove list of this script from CLEAN_TARGETS in this case.

tests: runner better handle help messages

Postpone check for root uuid so we can print help message.

tests: check strftime result

cov: check result of sync_local_dev_names

Although ATM this function always returns 1.
(maybe should be void)

lvmdiskscan: use while loop

Use more readable while() loop like in other similar instancies.

post-release

pre-release 2.03.28

gcc: fix warning about uninitialized use

get_sizes_lockspace() may not always initilize all passed values
in case the bitfield would not trigger if() path.
So just in case keep the path initilized.

TODO: maybe add INTERNAL_ERROR to get_sizes_lockspace().

lvmlockd: remove unused vg_sysid

from structs and info dump.

tests: skip test on older version

Prevent crashing kernel on older systems.

lvmlockd: update prototype for non-lvmlockd build

Match prototype to last updates of lockd_init_lv_args().

lvmlockd: optimize new lv lease search

When converting a VG to locktype sanlock, a new
lease is allocated for each existing lv.  Finding
a new lease location involved searching the lvmlock
LV from the start for an unused location, which
would be very slow with many LVs.  Improve this by
starting each search from the last used location.

lvmlockd: fix vgchange --locktype sanlock

Fix regression from commit 7f29afdb06d
"lvmlockd: configurable sanlock lease sizes on 4K disks"

That change failed to recognize that a running lockspace will not
exist in lvmlockd when converting a local VG to a sanlock VG, i.e.
vgchange --locktype sanlock vgname.  When the vgchange attempted
to initialize new lv leases for existing LVs, lvmlockd would
return an error when it found no lockspace.

WHATS_NEW: update

vg: add radix_tree for lv uuids

When searching for committed LV by uuid, this search can
be expensive for commands like 'vgremove' - so for
this part introduce  'lv_uuids' radix_tree that is
build with first access to lv_committed().

metadata: use radix_tree for find_lv_in_vg

Since there is a group of commands that need to access 'lv_list'
while still need to search for LV by its name, make the whole
struct lv_list a member of logical_volume structure.
This makes it easy to return also 'lv_list' this list this LV
within VG.
Also the patch should not use more memory, since we were allocating
lv_list for each LV anyway when linkin LV to VG.

Since find_lv_by_name() is now using radix_tree(),
use the same 'search for /' in LV in name for both
find_lv() & find_lv_in_vg().

TODO: Possibly refactor code and use only dm_list
instead of lv_list and dereference LV with container_of()
(thus saving pointer within struct logical_volume) - but
we use 'lv_list' currently in many places...

config: introduce validate_metadata

Add lvm.conf  config/validate_metadata  configurable setting.
Allows to disable validation of volume_group structure before
writing to disk.
Call of vg_validate() is supposed to catch any inconsistency
of in-memory volume group structure and possibly early aborting
commnand before making any more 'damage' in case the VG struct
is found insistent after some metadata manipulation.

This is almost always useful for devel - and also for normal user
as for small metadata size this doesn't add too much overhead.

However if the volume_group size is large and operations are just
adding removing simple LVs - this validation time may add noticable
to final command running time.

So if the user seeks the highest perfomance of command and does
not do any 'complex' metadata manipulation - it's reasonably safe
to disable validation (with the use of setting "none") here.

validate_lvname: early exit

If the LV name does not any have '_' chr,
there is no point trying to call 'strstr()' to look for "_suffix".
Also we can search from _.

cov: validate string with lock mode

Check the dev_mode string is not NULL before use.

cov: add stacktraces

Add stacktraces for unexpected paths.

vdo: reader checks there is enough data

Validate enough of data was read from disk to parse vdo header.
TODO: there should be a loop for buffer reading.

metadata: pahole logical_volume

Shuffle some variables to remove 'extra' alignment holes
within the structure thus making it smaller.

metadata: lv_set_name use uniq_insert

With presence of uniq_insert, use this function also
here for extra protection and check for duplicate lv_name
when inserting a new name into radix_tree.

get_alloc_string: compare only enum

Instead of possibly checking for cling_by_tags string twice,
just compare resulting alloc number from search loop.

toolcontext: use the striped string first

cache_manip: reset sigint handler

After processing interrupt, reset the interrupt counter,
so further code is not mislead and continues processing
in 'locked' section as expected.

tests: use longer tag

Avoid config 'grep' with actual 'randomly' generated path name
which may eventually contain 'cc' as part the path and
causing a mismatch of the grep test.

debug: missing stacktrace

lv_manip: init major minor in alloc_lv

Move initialization of major and minor to alloc_lv().

device_mapper: use static array for dm_size_to_string

Avoid copying this structure on stack with every call.

tests: add reproducer for failing raid5 activation

For now use 'should' to mark this 'known' failure.
This case needs solution.

tests: flip to use FSLASTBLOCK

It seems FSSIZE is newer then FSLASTBLOCK so use this one instead.

tests: correcting expected return code

Expecting success when using with '-r'.

man: lvchange update about --syncaction being transient

WHATS_NEW: update

lvmlockd: fix incorrect function definition

In commit 7f29afdb06d9f3420b3d2174d6ed4c55a58ac706 this function
was added with misplaced ';'.

tests: add test to resize to same size

Check that 'lvresize/extend -r' resizing to the same size is
doing the fs resize.

lvresize: fix regression when resizing with fs

When 'lvresize -r' is used to resize the volume, it's valid to
resize even to the same size of an LV, as the command then runs
fs-resize utility to eventually upsize the fs to the current
volume size.

Return code of such command then reflects the return value
of this fs-resize tool.

This fixes the regression introduced when the support
for option --fs was added (2.03.17).

tests: lvresize-fs: check blkid version for lvresize with swap test

dev-type: update comment about swap info from blkid

clang: close file on memory alloc error path

clang: check for dirfd result

clang: check segment lv is defined

clang: ensure pointer is defined

Check for new_segtype and lv is defined
before dereferencing.

cov: use 64bit arithmentic

cov: ensure detached_log_lv exists before use

debug: use major:minor

Print major:minor as in other places.

device_id: close only opened dir

After more of opendir, make sure 'dir' is closed
only when it's been opened.

metadata: check for mda_device existance

dev-cache: ensure list has elements

When updating DM cache, check whether the list even has entries
before comparing it with old cached instance.

metadata: fallback search without radix_tree

If we use some dummy vg struct, allow fallback
plain dm_list search.

device_mapper: add omitted error message

device_mapper: check for pv before use in error msg

lvmlockd: enable lockopt nodelay for lockstart

Avoid the sanlock add_lockspace delay in vgchange --lockstart
by adding --lockopt nodelay.  This is for testing, and is not
safe to use in general.

WHATS_NEW: update

cleanup: correct invalid function

Use proper function names in annotation

There are no fuction named print_common_options_cmd()
and print_common_options_lvm(). So, rename them to the
real function named print_usage_common_cmd() and
print_usage_common_lvm().

Signed-off-by: YunJian Long

tests: do not use shell pipe for reshape_len

Tricky one - as the pipe exit codes may result into whole
test failure depending on how quick/slow command exits
are within pipeline.

So get the len without piping.

devicesfile: move opendir after fclose

Call opendir() after new file is stored within dir,
otherwise this new file would not accounted.

metadata: missed lv_set_name users

Missed when introduced lv_set_name().

lv: add lv_set_vg

To keep vg->lv_names up-to-date also for merge & split,
add function lv_set_vg() the will update also radix tree
reference for a VG.

WHATS_NEW: update

metadata: use radix tree to find lv_names

Replace usage of dm_hash with radix_tree to quickly find LV name
with a vg and also index PV names with set of available PVs.
This PV index is only needed during the import, but instead
of passing 'radix_tree *' everywhere, just keep this within
a VG struct as well and once the parsing is finished, release
this PV index radix_tree.

This also makes it easier to replace this structure
in the future if needed.

lv_set_name now uses  radix_tree remove+insert to keep lv_names
tree in-sync and usable for  find_lv queries.

revert "metadata: use lv_hash in segment-specific metadata parsing"

This reverts commit f42aef47064fcc3fa8f78beea9e9b7e7c028e123.

Going to replace dm_hash with radix_tree and use 'find_lv()'
to abstract lookup for LV with VG.

metadata: use lv_set_name for raid and mirror

Use lv_set_name API also for raid and mirror LV manipulation.

metadata: add lv_set_name

Add function to set lv->name.
Also when creating empty LV, first add this LV
to linked list in a VG and just after that allocate lv name.

check_pv_segments: resolve pv name once

log: postpone some initialization

Clear buffers when really logging.

lv_manip: remove duplicate check for max lv

This check is always performed with call to link_lv_to_vg().