Tranquilo por tu posición en los resultados de Google que según la propia compañía, los datos recopilados por Analytics no son utilizados para esos propósitos.

Respecto a la duración de las visitas en tu web hay múltiples formas de aumentarlo. Como bien dices, al ser un blog esos 35 segundos de media es muy poco tiempo.

Una de las técnicas más utilizadas para que las visitas se queden más tiempo es añadir contenido multimedia. Por ejemplo vídeos de YouTube.

De esta forma los usuarios estarán entretenidos más tiempo y saldrán de la página más tarde. Otra recomendación es no utilizar palabras clave que no estén relacionadas con tu contenido, ya que mucha gente puede entrar a buscar algo que luego no esta, y saldrá de la página tan pronto que bajara la media de la duración de las visitas en tu página.