Количество информации - это мера уменьшения неопределенности - это самое распространенное и разумное определение величины.
Обычно = почти всегда, дела обстоят так:
Подробнее: здесь Статья в Википедии