echo-cancel: Add the WebRTC echo canceller

This adds the WebRTC echo canceller as another module-echo-cancel
backend. We're exposing both the full echo canceller as well as the
mobile echo control version as modargs.

Pending items:

1. The mobile canceller doesn't seem to work at the moment.

2. We still need to add bits to hook in drift compensation (to support
   sink and source from different devices).

The most controversial part of this patch would probably be the
mandatory build-time dependency on a C++ compiler. If the optional
--enable-webrtc-aec is set, then there's also a dependency on libstdc++.

macro: typedef pa_bool_t to bool instead of _Bool

They're functionally equivalent, and the former lets the header be
included in C++ as well.

echo-cancel: Simplify checking if AEC is active

This removes the active_mask bits and just check source and sink states
directly.

alsa: New modarg "paths_dir" for module-alsa-card

The new module argument can be used to provide a custom
directory for loading alsa path configuration files. This is
useful for testing: no need to be root to create test
configuration files.

Fix deferred volume not being applied if sink is closed

Signed-off-by: David Henningsson <david.henningsson@canonical.com>

build-sys: Drop libsamplerate from pulsecommon deps

This was erroneously added in:

    commit d766b38e1ba5d483ad7eec105860e9b9f7f55702
    build: Remove unnecessary flags in AM_CFLAGS

filter-apply: Move sink/source unlink callbacks before m-s-r

module-stream-restore and modile-filter-apply can get into an infinite
loop if m-s-r is called before m-f-a (m-s-r rescues a stream and
attaches it to a sink/source, which then triggers m-f-a to move it back
to the filter sink/source, and so on). The purpose of the m-f-a hooks is
to beat m-s-r, so moving them to be run first.

qpaeq: Make it python3 and python2 compatible

echo-cancel: Don't process if sink is unconnected

If there's no playback data, there's no point in actually processing the
capture data.

tests: Fix calculation of memblock size in resampler-test

And remove useless volume scaling.

daemon: Don't treat it as a fatal error if we can't connect to the session bus

http://lists.freedesktop.org/archives/pulseaudio-discuss/2011-June/010276.html

pacat: Fail early if the media name cannot be set

Otherwise you get an "invalid argument" error from pa_stream_new later.

Do something sensible when compiled without iconv support

Without this fix, pacat won't start up, because it is unable to set the stream name.

echo-cancel: Close debug files on module unload

namereg: Don't set default sink/source on get()

This removes the nasty side-effect that a call to
pa_namereg_get_default_{source,sink}() will also *set* the default
source/sink.

This is a more complete fix for commit 766dbc68 ("conf: Make sure
module-dbus-protocol is loaded after module-default-device-restore")

https://bugs.freedesktop.org/show_bug.cgi?id=40897

echo-cancel: Drop sink/source samples before processing begins

This moves the bits that skip source/sink samples for resync from inside
the processing loop to just before. The actual effect should be the
the same.

echo-cancel: Skip processing till there's enough data

This makes sure that we only perform any processing (resync or actual
cancellation) after the source provides enough data to actuall run the
canceller.

echo-cancel: Skip canceller when no source outputs are connected

When a source-output isn't connected to our virtual source, we skip echo
cancellation altogether. This makes sense in general, and makes sure
that we don't end up adjusting for delay/drift when nothing is
connected. This should make convergence faster when the canceller
actually starts being used.

echo-cancel: Increase threshold for resyncing, make it configurable

This increase the threshold for difference between the playback and
capture stream before samples are dropped from 1ms to 5ms (the
cancellers are generally robust to this much and higher). Also, we make
this a module parameter to allow easier experimentation with different
values.

echo-cancel: Don't crash if adjust_time = 0

echo-cancel: Remove redundant variable

echo-cancel: Add a standalone test program

This is useful to test the canceller implementation on data from disk
rather than testing live. Handy for comparing implementations reliably.

alsa: reset watermark to initial values on resume

Watermark level and latency values are not restored when
resuming, the values used prior to suspending are reused.
This leads to side effects when underruns happen and buffer
sizes are updated, PulseAudio can never meet lower latency
requirements.

Solution: keep track of watermark and latency values on sink or
source creation, and reapply them on resume to start with
a clean slate.

Signed-off-by: Pierre-Louis Bossart <pierre-louis.bossart@linux.intel.com>

source-output: Do not use unset channel map in pa_source_output_new

This problem was found when tracing down a crash coming from the
esound protocol, which does not set a channel map.

BugLink: http://bugs.launchpad.net/bugs/864071
Signed-off-by: David Henningsson <david.henningsson@canonical.com>
N.B.: As Colin notes, this is because commit 117c7145 was incomplete
("format: Fix channel map handling")

module-jackdbus-detect: Avoid double-free of modargs

If module-jackdbus-detect failed in the later part of initialization,
the ma variable was freed twice.

BugLink: http://bugs.launchpad.net/bugs/867444
Signed-off-by: David Henningsson <david.henningsson@canonical.com>

alsa: Make mixer error handling more robust still

Instead of relying on the snd_mixer_* functions failing, we check for
POLLERR and POLLNVAL first. After this, any errors in handling the mixer
events are deemed fatal (that is we cause the ALSA source/sink thread to
terminate).

The case where POLLERR is set but POLLNVAL is not does not actually
occur, but we're making this a soft failure (stop polling the mixer, but
don't kill the I/O thread). If other conditions where POLLERR occurs
turn up, we need to handle them explicitly.

Thanks to Linus Torvalds for helping get this right.

doc: Add some more doxygen tags to existing comments

echo-cancel: Fail if loaded between a sink and its monitor

Loading between a sink and its monitor causes a deadlock (while sending
messages for latency snapshots). It isn't a case that has any real
conceivable use, so let's just disallow it.

alsa: Better error handling in mixer rtpoll callback

This improves the error handling in the mixer rtpoll callback. It avoids
a crash if an error occurs (the rtpoll_item is freed but still
referenced), and specifically makes sure we don't continue trying to
poll the device if the card is disconnected.

alsa: Give compressed formats preference over PCM

This makes set_formats() put PCM formats lower down the list than
compressed formats since we negotiate by picking the first format in
this list that is also in the client-provided list of possible formats
during sink input creation.

This will be incorrect if we ever decide to do encoding in PA (for
things like AC3/DTS encoding for multichannel output over S/PDIF).

Make pulse build with clang again

The casts are not supported there.

null-sink: Set latency range at the time of initialization of module.

At the time of module initialization latency range is being set so that the null-sink
would be aware of its limitations with latencies.

osx: don't build the once-test binary on OS X

This patch was already added earlier with commit ID 2f86ba4f, but the
changes got reverted by commit 3adc43b ("win32: Make once-test work").

However, this still doesn't work on OSX as here, pthread is in general
available, but the barrier APIs aren't.

doc: Add an example stream-restore fallback table file.

stream-restore: Support a simple fallback volume table

The purpose of this patch is to make it possible to configure stream volumes
before pulseaudio is run for the first time. This is useful, for example, in
embedded products where the default volumes have to be sensible already in
the first boot.

memblockq: Improve debuggability by storing a name and a sample spec.

These are not used for anything at this point, but this
makes it easy to add ad-hoc debug prints that show the
memblockq name and to convert between bytes and usecs.

sink: Add some comments about the rewind handling during stream moves.

sink: Move updating the requested latency after the rewind request when finishing a stream move.

libpulse: Always return a three part version number in API calls.

For both the headers and the library we should provide clean, three part
strings as this has been what we've previously done in the past
and some external systems apparently rely on this format. While it's not
something we've officially commented on before, there is no real advantage
to us to change it so let's not try to tidy things up too much
considering some third party apps (e.g. Skype) seem to dislike a two
part version string.

sink,source: Avoid unnecessary call to pa_rtclock_now()

pa_{sink,source}_volume_change_apply were being called by the ALSA I/O
thread on every iteration, causing a pa_rtclock_now() call, which can
sometimes be heavy. We avoid this call by making sure there actually are
changes to apply before proceeding into the function.

While we're at it, also dropping a redundant check on s->write_volume.

extended: Fix doxygen comment style typos

Thanks to Rémi Denis-Courmont for pointing this out on IRC.

build-sys: bump soname

build-sys: Switch to the tar-ustar format (as per a lot of GNOME stuff for 3.2) and distribute .xz files.

We will drop .gz support after 1.0

Fix crash in threaded message queues

Once in a million or so, this typo causes a crash when two threads
simultaneously try to call "pa_asynqmsgq_write_poll".

BugLink: http://bugs.launchpad.net/bugs/853560
Signed-off-by: David Henningsson <david.henningsson@canonical.com>

dbus: Don't crash if the module does not load

If module-dbus-protocol fails to start, pa__done is still called,
which falsified the assumption that u->connections was always set.

BugLink: http://bugs.launchpad.net/bugs/855729
Signed-off-by: David Henningsson <david.henningsson@canonical.com>

sink,source: Handle missing in the shared volume case

This makes sure that when we're traversing the device chain for sources
and sinks with shared volume, we handle the case that a sink-input or
source-output of one of these might be unlinked (while unloading a
module, for example).

build-sys: bump soname

conf: Make sure module-dbus-protocol is loaded after module-default-device-restore

module-dbus-protocol gets the default sink, which sets the default sink
if not already set. This is turn makes module-default-device-restore do
nothing.
To solve the problem, make sure module-default-device-restore is loaded
before module-dbus-protocol and not the other way around.

BugLink: http://bugs.launchpad.net/bugs/843780
Signed-off-by: David Henningsson <david.henningsson@canonical.com>

sink,source: Avoid crash by not updating volume on shutdown

Sometimes the ALSA mixer can be modified during a point at shutdown
which causes a race condition trying to update the volume of an
unlinked sink.

Includes typo fix by our Chief Typo Spotter, Colin, and a clarifying
comment by me.

BugLink: http://bugs.launchpad.net/bugs/841968
Signed-off-by: David Henningsson <david.henningsson@canonical.com>

echo-cancel: Use volume sharing by default

Uses the shared volume infrastructure by default with an option to
fallback on the old pretend-volume-sharing-that-kind-of-works if someone
wants it that way.

Users who keep left != right (or any sort of unbalanced channel volumes)
will likely want to disable shared volumes since it will cause their
master sink/source volume to be balanced.

This really isn't a very pleasant scenario since users would need to
manually set up echo cancellation in their config for this (until we
have a way to store module configuration). That said, the majority case
benefits from the volume sharing, so let's not wait for the
configuration infrastructure to be ready to use this.

equalizer: Use volume sharing by default

Uses the shared volume infrastructure by default with an option to
fallback on the old pretend-volume-sharing-that-kind-of-works if someone
wants it that way.

virtual: Make volume sharing on by default

People who use this code (i.e. mostly filters) would presumably want
volume sharing on by default.

volume: Handle varying channel count for shared volumes

This handles the case where a virtual sink/source and it's master have
different channel counts. The solution is not ideal because if the
former has fewer channels and the master has channel volumes that are
not all at the same level, it will lose this information and have all
channels at the same level.

This is not just a theoretical problem, since module-echo-cancel
prefers a mono virtual source/sink and will usually be sitting on top of
a stereo ALSA source/sink.

That said, I don't really see a good solution to this problem, so the
idea is to make volume sharing optional (on by default) in
module-echo-cancel, so that the few people who care can then disable it
if they so desire.

def: Hide server-side sink/source flags

This makes sure that sink/source flags that are used on the server side
only are not leaked to clients.

stream: Relax assert for extended API

For some reason this assert wasn't triggered earlier -- we shouldn't be
looking at the stream sample_spec if the formats API is used.

doc: Add info about running pulseaudio from the build dir

doc: Update README with fresh links.

raop: Don't crash if fd is not open when trying to close it

BugLink: http://bugs.launchpad.net/bugs/845286
Signed-off-by: David Henningsson <david.henningsson@canonical.com>

volume: Rename 'sync volume' to 'deferred volume'.

This just covers Lennart's concern over the terminology used.

The majority of this change is simply the following command:
 grep -rli sync[-_]volume . | xargs sed -i 's/sync_volume/deferred_volume/g;s/PA_SINK_SYNC_VOLUME/PA_SINK_DEFERRED_VOLUME/g;s/PA_SOURCE_SYNC_VOLUME/PA_SOURCE_DEFERRED_VOLUME/g;s/sync-volume/deferred-volume/g'

Some minor tweaks were added on top to tidy up formatting and
a couple of phrases were clarified too.

build-sys: Oops forgot to add the Kinect profile to the build system.

raop: Properly deal with the name coming from the device.

We need to properly quote our proplist arguments passed to the module.

modargs: Ensure modargs can be accessed in their raw form.

When dealing with proplists passed as modargs, we need the unescaped form
in order to properly deal with quotes (ticks + double quotes). As the previous
code always called pa_unescape() before adding it into the modarg hashmap, this
was impossible.

This modification simply stores two proplists. If the unescaped value
is different from the raw value, we also keep the raw form.

When parsing proplist arguments, we use this raw form and do the unescaping
ourselves when processing it.

This changes the current behaviour which required you to double escape
proplists arguments. This double escape mechanism did allow you to mix
and match what types of quotes you used to delimit the individial
proplist values, but it made the actual data much harder to pass in.

This approach has the drawback that you cannot mix and match the quotes
you use, but this is a very minor issue and IMO pales in comparison to
the general clarity gained.

See the discussion on the mailing list for more background:
 http://lists.freedesktop.org/archives/pulseaudio-discuss/2011-September/011220.html

alsa-mixer: Add support for the Microsoft Kinect Sensor device

The Kinect shows up as a UAC device after the firmware has been loaded,
but in order to be detected by pulseaudio a 4-channels input only
mapping is needed. Provide a new profile for that and set it with a udev
rule.

fdo#39664

module-suspend-on-idle: Move vacuum code to core

pa_core_maybe_vacuum now vacuums if there are either no streams or all devices are suspended.
The mempool_vacuum argument to module-suspend-on-idle is gone and defaults to true now.

alsa: Tidy up argument descriptions

bluetooth: Bump DBus version to 1.3.0 and drop conditional code.

We used to support older DBus versions but 1.3.0 is two years old
now and by requiring it we cut down of deviated code paths at
runtime and thus have less support issues.

fdo#40635

loopback: New modargs: sink_input_properties and source_output_properties.

The new modargs replace sink_input_name, sink_input_role,
source_output_name and source_output_role.

raop: Use the port supplied by avahi when connecting to RAOP devices.

The Apple TV for example uses a non-default port, but we previously ignored
this. We now correctly parse the server string but in so doing, we end up
parsing the address twice. As we need a pure IP/hostname of the device itself
to use in our requests, this is somewhat unavoidable.

Sadly there are still other problems with Apple TVs, but this is still
one step closer.

Fixes part of #950

device-restore: Fix use-after-free error.

formats: Export more functions needed for a clean build.

All of these functions are not actually defined in format.h
(they are defined in internal.h) and thus should really be
included only in libpulsecommon and implemented in a separate
source file.

However if that approach was taken, and these functions were
included in libpulsecommon, then they would have a link time
dependancy on libpulse (as these four functions use other
pa_format_info_* functions). As the opposite is already true
(libpulse depends on libpulsecommon), this is not possible as
it creates a circular dependancy.

Thus the only option is to just to include these four functions
in the map-file, but not actually export any public headers for
them. Of course users could use this implementation by defining
them in their own headers, but the only practical problem
with this approach is naming conflicts which is unlikely to happen.

fdo#40616

formats: The format code should be in libpulse, not libpulsecommon

Without this change any applications calling e.g. pa_format_info_new()
and friends will be explicitly linked against libpulsecommon-$MAJORMINOR.so
which is something we specifically avoid as it may contain ABI/API unstable
functions.

Also ensure we export pa_format_info_from_string() for external use.

fdo#40616

stream-restore: Add proper data validity checks to the legacy database entry read.

stream-restore: Add in some variable sets that were missing from 9ffa93.

This broke the conversion of the stream-restore database from
previous versions.

device-restore: Simplify the migration of data to per-port keys.

Rather than write all the keys out for each port, simply write a 'null'
port entry and modify the read code to 'fallback' to this when it cannot
find a key. This is needed as the code used when writing the key may not
actually have the sink ports available at the time it uses them,
and thus can cause a segv. This approach adds some degree of overhead
but it's relatively minimal and it can be mitigated by compiling
without support for legacy database formats if so desired.

Thanks to David Henningsson for pointing out the problem.

Make gcc --std=c99 happy

We're now more or less C99 compliant

Squash the last gcc warnings

module-equalizer-sink: Use correct limit in loop

bluetooth/sbc: Use __asm__ keyword

module-equalizer-sink: Use = in initialising variables

This makes the compiler in C99 mode happy

module-equalizer-sink: Use %z for printf of size_t variables

alsa-mixer: Set "Front" control to 0 dB on headphone path

I've seen more than one system where the volume control named
"Front" is a part of audio path for headphones. This is somewhat
of a compromise: While we don't merge it into the path, as that
would be regressing machines where "Front" isn't a part of the
audio path, it would still enable sound on these machines.

BugLink: http://bugs.launchpad.net/bugs/804178
Signed-off-by: David Henningsson <david.henningsson@canonical.com>

module-switch-on-connect: Don't switch unlinked sink input and source outputs

Unlinked streams can not be moved, so don't try.

BugLink: http://bugs.launchpad.net/bugs/837386
Signed-off-by: David Henningsson <david.henningsson@canonical.com>

vala: Add has_type_id=false to all enums, structs and classes

Since none of our types is derived from GType, explicitly signal this.
The default value for this attribute changed at some point, breaking our
bindings.

build-sys: bump soname

equalizer: Comment out unused function

Gets rid of a compiler warning

echo-cancel: Get rid of annoying compiler warnings

echo-cancel: Don't allow streams to attach while unloading

When unloading, some module may end up trin to move a sink-input or
source-output back onto our virtual sink/source, causing an infinite
loop of us moving the stream away and having it moved back.

We prevent this from happening by preventing any stream from being
attached during unload.

echo-cancel: Make save_aec modarg a bool instead of an int

pacat: make pacat respond to cork/uncork events

Pacat remembers the number of cork requests, and then cork/uncork the stream
accordingly.

With this change, it makes below test script work correctly:

pacat -p --property=media.role="music" <long-sound> &
sleep 2
pacat -p --property=media.role="phone" <short-sound>
wait

Initial idea by Lu Guanqun, but modified by Colin Guthrie (so blame
me if it's broken)

Set better priorities on input paths

The priorities should be set in the approximately likeliness that someone
would like to use them. This is hard to guess of course, but this is
a better guess compared to the existing configuration.

Signed-off-by: David Henningsson <david.henningsson@canonical.com>

passthrough: Fix setting volume to unamplified again

Thanks to Tanu for pointing out the (possibly pathological?) case that
base_volume might be >0dB.

device-restore: Restore volumes on port change.

This will allow for volumes to be saved separately for e.g. Headphones vs. Speakers.

At present it is possible that no volume will be saved for the device prior to the port
switch. In this case the volume will not change from the value set under the other port.
In an ideal world we would save the volume before switching port, but that would require
a new hook.

device-restore: Split device restore database into two parts.

The device restore saves both the current port for a device, and the volume/mute/formats.
The latter three are really related to the device+port, not the device on it's own.

Thus we store just the port for a device in one key and the volume/mute/formats
under a different key that includes both the device and the port.

passthrough: Fix what volume we set sinks/sources to

Devices' 0 dB is base_volume not PA_VOLUME_NORM.

sndfile-util: Check return value of sf_command for errors

It's better to show a message what the error is,
instead of just asserting that no errors happen in an external library call.

Remove extra ; s where they are not allowed in strict C99

echo-cancel: Use stream index in debug message

instead of the less useful stream pointer.

gitignore: Add Orc autogenerated files

echo-cancel: Move speex preprocessing out of the main module

I initially included put the Speex preprocessing assuming that we'd want
to use the digital gain control and noise suppression from Speex for all
echo cancelling implementations. In practice, we're probably going to
get entire implementations all processing in one package (WebRTC, custom
modules from various vendors, etc.).

This moves out this preprocessing and related knobs into the speex
implementation, which serves to clean out all implementation-specific
details from the module-echo-cancel core.

echo-cancel: Use pa_streq instead of strcmp