Då gör du något fel, för det fungerar. Beviset: Index of hidden element
EDIT
Du kanske använder jQuery 1.3.2 eller tidigare? Uppgradera till 1.4.2 så får du en bra prestandaökning. Om du är bunden till en gammal jQ-version så funkar detta istället:
var $lista = $('#lista'),
i = $lista.children('li').index($lista.children('li:hidden'));