0 )
echo 'foo';

//$variable negada, es falso, o cero. Por lo tanto, no entra a este if tampoco.
if ( ! $variable > 0 )
echo 'bar';

// muestra baz
echo 'baz';
?>

Otra cosa hubiese sido si el segundo if era asi:

if (!($variable > 0))
$variable no es mayor a cero, entonces es falso; pero con la negacion se transforma en verdadero, por lo que hubiese escrito
barbaz

Por algo PHP implementa 2 operadores de comparacion (== y ===)

PHP usando == toma las cadenas como "algo" y "algo" es mayor a 0. Hay que revisar como se comporta >. No estoy seguro si existe un operador >== (puesto que >= significa otra cosa), pero no creo. Para mi que imprime las 3 cadenas. No he hecho la prueba

En cuanto a la primera, no tengo idea del valor que llegaría a tomar $variable, porque si se hace un cast a boolean del valor actual de $variable, la condición resultante es verdadera (true > 0) y por lo tanto imprimiría 'foo'.

$variable NO es mayor a 0. De hecho creo que al compararse un string con un número, automáticamente se hace el casting del string y calculo que 'demo' obtiene un valor numérico de 0.

El problema de ese código, es que el operador de negación se está aplicando a $variable y no a la comparación.
Para que muestre 'barbaz' como interpreto que se quería mostrar con ese código (muy subjetivo) habría que reformular el 2º if de la siguiente manera:

if ( ! ( $variable > 0 ) )

Saludos!!