English page Verkkosivu suomeksi

Trinn 6: Evaluering

  • Välfärdsteknologi

Hva er det, og hvorfor er det viktig for arbeidet med velferdsteknologi?

Dette trinnet er avgjørende for å sikre at den tekniske løsningen dere vurderer å implementere, faktisk passer til organisasjonen deres. Evalueringen bør sikre at teknologien dekker behovene dere har identifisert, og at den fungerer som planlagt. Eksempler på dette kan være bedre kvalitet på tjenestene, bedre arbeidsmiljø, større kostnadseffektivitet eller en kombinasjon av flere ting.

Evalueringen av løsningen(e) gjør at dere kan vurdere hvordan teknologien virker i organisasjonen og hvilken kvalitet den gir tjenesten dere leverer. En god evaluering kan bidra til å luke ut potensielle mislykkede produkter og prosjekter, og er selve fundamentet dere kan bygge senere implementeringer på.

Evalueringen tester om produktene dere har identifisert i markedsundersøkelsen faktisk vil dekke behovene på en tilfredsstillende måte og gi dere en plattform dere kan bruke til senere implementerings- og gevinstovervåking.

Anbefalinger

  • For å øke effektiviteten i evalueringen anbefales det at man bruker en etablerte metoder – for eksempel en som er nevnt i dette dokumentet. Det vil sikre en systematisk tilnærming og føre til større tydelighet både i beslutningstaking og i prioritering.
  • Det anbefales at man foretar en «mulighetsstudie» (vurderer mulige fordeler ved en gitt teknologi) før man bruker omfattende ressurser på en hel evalueringsprosess. Det er imidlertid viktig at en slik mulighetsstudie bruker de samme rammene som den etablerte evalueringen for å sikre kontinuitet og nøyaktighet i vurderingen. Hvis den ikke bygger på samme rammeverk, øker man risikoen for at mulighetsstudien blir en avsporing, og at beslutningen om å gjøre en evaluering eller ikke treffes på bakgrunn av uriktige opplysninger.
  • Når dere vurderer potensialet ved en gitt teknologi må dere huske å knytte det til de identifiserte behovene og til strategien deres og formålet med velferdsteknologien.
  • En evalueringsprosess krever tid og kunnskap. Sørg for de nødvendige ressurser til dette og koordiner det om mulig med andre aktiviteter.
  • Det er alltid lurt å starte en evalueringsprosess med å definere målene for prosessen. Vurder også å la sluttbrukeren være med og definere målene. Målene kan justeres underveis, men når man setter dem opp fra begynnelsen av vil det gi prosessen retning og skape gjennomsiktighet. Samtidig er det ofte gunstig å ta med ansatte i førstelinjen og/eller sluttbrukerne når man skal avgjøre hvilke metoder man skal bruke til innsamling av data (spørreundersøkelser, intervjuer osv.), ettersom en slik involvering vil skape en følelse av eierskap og engasjement.

Erfaringsbaserte råd

  • Hvordan kommunen er organisert er viktig for hvordan teknologien vil fungere. Husk å ta med en analyse av hvorvidt teknologien fungerer godt i organisasjonen deres i evalueringen. Når dere foretar denne analysen, bør dere vurdere hvorvidt organisasjonsmessige endringer kan gi bedre resultater.
  • For å sikre lokalt eierskap og engasjement er det svært viktig at evalueringsmålene er relevante for det daglige arbeidet. Dette er viktig for å sikre at evalueringsprosessen tar hensyn til den daglige rutinen og er sammenliknbar med andre arbeidsoppgaver, ikke bare en diffus tilleggsoppgave.
  • Husk at teknologiens fremtidige suksess er avhengig av evalueringens gyldighet. Når dere planlegger evalueringsprosessen bør dere derfor forsikre dere om at teknologien testes i tilstrekkelig lang tid, og med et tilstrekkelig antall forsøkspersoner. Man kan kanskje få en billigere evalueringsprosess ved å ta snarveier, men det vil i betydelig grad øke faren for at man mislykkes når man implementerer den endelige løsningen.
  • Forsikre dere om at forsøksgruppen er representativ for den tiltenkte målgruppen. Dere må også forsikre dere om at forsøksgruppen er tilstrekkelig informert, også om hva som vil skje etter at prøveperioden er over.
  • Det er avgjørende at man etablerer referansemålinger som kan fungere som et fundament for selve evalueringen. Det trengs referanser til alle parameterne man ønsker å evaluere.
  • Hør med nettverket deres eller med nasjonale myndigheter for å se om det er noen andre som har evaluert den aktuelle teknologien eller en liknende teknologi. Selv om en eksisterende evaluering ikke er direkte relevant for dere, kan den tjene som verdifull inspirasjon og spare dere for tid og ressurser.
  • Det anbefales at evalueringen blant annet omfatter et økonomisk perspektiv, gjerne i form av en kost-nytteanalyse. Hvis dere ønsker å nyttiggjøre eventuelle besparelser teknologien kan gi, må dere huske ta dette med i evalueringen.. Det er viktig at man tar med dette, for det å «høste» en økonomisk gevinst krever ofte at man tar en nærmere titt på organisasjonen sin og på den måten man budsjetterer tjenester på internt.
  • Husk at evalueringsrapporten også bør inneholde noe om hvordan den aktuelle teknologien skal organiseres og installeres etter en eventuell implementering.
  • Husk at teknologiens suksess på lang sikt kan være avhengig av personalets kompetanse. Videre opplæring av personalet er naturligvis en viktig del av evalueringen og vil påvirke kostnadene for den endelige forretningscasen.

Hva det har betydd for CONNECT-deltakerne å gjøre evalueringer

Odense

Det har gitt Odense kommune et verktøy som brukes i alle etater, slik at alle bruker omtrent samme metodikk og samme parametere. Det gir oss en systematisk tilnærming og skaper bevissthet om hvor komplisert det er å evaluere ny teknologi. Og endelig gir evalueringsmodellen beslutningstakerne en solid plattform.

Metoder og verktøy

Odense Kommune bruker den danske evalueringsmodellen «VTV», som er utviklet av Teknologisk Institut, sammen med en egen forretningscasemodell. Begge deler er tilgjengelige på nettstedet www.nordicwelfare.org/connect

VTV gir god oversikt og dekker de viktigste tingene ved en produktevaluering. Dessuten gir den et visuelt perspektiv på hva teknologien kan utrette og tjener som en nyttig plattform for beslutningstaking. I Odense kombineres den med en mer omfattende forretningscasemodell som går dypere inn i de økonomiske sidene ved teknologien og potensielle virkninger av den. Du kan lese mer om VTV på nettstedet til Teknologisk Institut (se link lenger ned) eller gå til CONNECTs nettsted, der du finner dokumenter med veiledning om hvordan man bruker VTV: http://www.teknologisk.dk/ydelser/vtv-velfaerdsteknologivurdering/32944

Göteborg bruker modellen for balansert målstyring med fire perspektiver

  • Brukere/pårørende, ansatte, organisasjon og økonomi.
  • Forskjellige parametere kan plasseres på de andre aksene, for eksempel funksjonalitet, sikkerhet, kvalitet og kostnad.

Göteborg anbefaler også følgende verktøy:

  • E-delegationens «Metod för Utveckling i Samverkan» (http://www.esamverka.se/stod-och-vagledning/vagledningar/metod-for-utveckling-i-samverkan.html)
  • E-delegationens «business case model».
  • www.opiguide.dk inneholder både forretningscasemodeller og modeller for innovasjonsevaluering som kan være nyttige verktøy eller inspirasjonskilder.
  • Danske Digitaliseringsstyrelsen anbefaler følgende forretningscasemodell: http://www.digst.dk/Styring/Business-case-model
  • www.ks.no/samveis inneholder både råd og verktøy som kan veilede dere gjennom evalueringsprosessen. Mer informasjon her: http://www.samveis.no/metodikken/utvikling-utproving-og-evaluering/
  • Finske Sitra har en håndbok om helse- og sosialvelferd som Sør-Karelen synes er nyttig, både for evalueringer og andre forvaltningsforhold. Les mer på Sitras nettsted: http://www.sitra.fi/julkaisut/muut/Sosiaali_ja_terveyspalveluiden_tietojohtamisen_kasikirja.pdf

Eksempler på evalueringsmodeller fra CONNECT-deltakerne

Eksempler fra dette trinnet er behandlet i delen om metoder og verktøy. CONNECT-kommunene deler gjerne evalueringsrapporter om bestemte teknologier med dere hvis dere tar direkte kontakt med dem.

Odense

  • På www.odense.dk/cfv kan dere for eksempel se hvilke teknologier som er testet og implementert i Odense Kommune. På nettstedet www.nordicwelfare.org/connect finner du Odenses veiledningsdokumenter, som forklarer hvordan man bruker VTV-metodikken (som er nevnt ovenfor), og hvordan man utformer en grundig forretningscase.

CONNECT-deltakerne bruker også evalueringsprosessen i forskjellige settinger, både med og uten partnere.

Oulu

Nedenfor ser du et eksempel fra Oulu by med et opplegg med partnere:

OuluHealth Labs tilbyr et unikt, integrert miljø for helsetester og utvikling – inklusive faglige tilbakemeldinger – for hver fase i FoU-prosessen. OuluHealth Labens tjenester leveres av ledende organisasjoner i regionen, for eksempel Oulu University Hospital, Oulu University of Applied Sciences og Oulu bys helse- og omsorgstjenester. Oulu CityLab er underlagt OuluHealth Labs. Det er et testmiljø som befinner seg der sluttbrukerne er – i kundenes og pasientenes hjem og innen alle sosial- og helsetjenester i Oulu by. Produktutviklerne vil få tilbakemeldinger om produktet fra fagpersoner og kunder i et realistisk og hverdagslig sosial- og helsemiljø. Les mer: www.ouluhealth.fi

Västerås

I Västerås bruker man følgende generelle tilnærming for evaluere nye løsninger: • Vi har evaluert nye teknologier i sju år. Vi prøver å utvikle egne evalueringsmetoder til hvert enkelt tilfelle.
Generelt sett deler vi evalueringen inn i to faser:

  • I den første fasen ber vi testpersonene hjelpe oss med ekspertkunnskap (i egenskap av at de er eldre eller funksjonshemmet) når de prøver ut ny teknologi for oss. Vi understreker at alt handler om å hjelpe oss å evaluere løsningen, og vi fortsetter å gi dem så mye hjelp som mulig, eller i det minste sørge for at vi er til stede når de bruker teknologien.
  • I den andre fasen erstatter vi den vanlige måten å levere omsorg på med den nye, altså ved hjelp av teknologien. Her har vi satt inn ekstra ressurser for å støtte, og samtidig oppdatert beredskapsplaner hvis teknologien svikter. På den måten er det fortsatt en pilotstudie, men nå kan vi faktisk si at vi leverer omsorg ved hjelp av teknologien.

I begge disse fasene noterer vi erfaringer fra alle involverte – brukere, pårørende, personalet og andre. Dataene er som regel kvalitative og ustrukturerte, men enkelt ganger – særlig når vi sammenlikner liknende løsninger – bruker vi i tillegg forespørsler og andre kvantitative data.

Dennis C. Søndergård

Sidansvarig

Dennis C. Søndergård

Seniorrådgivare Välfärdsteknologi

Mobil +46-76 000 3545

Senast uppdaterad

2017-04-04

Nyckelord

  • Välfärdsteknologi

Nordens välfärdscenter | tel: +46 8 545 536 00 | | En institution under Nordiska ministerrådet