En mi caso me ha pasado de las 2 formas.
Primero, despues de un nuevo usuario que me vota, me sube de golpe 3 votos.
Y ayer, me vota un usuario repetidor, y me suben de golpe 2 votos.
Deberia preguntar severus, cual es el sistema de votacion, cuando suben y porque los votos.