Passasjerauke på Fedje og i Masfjorden, nedgang på Leirvåg-Sløvåg