English page Verkkosivu suomeksi

Trin 6: Evalueringsmodel

Hvad er det, og hvorfor er det vigtigt for hele processen i arbejdet med velfærdsteknologi?

Dette trin er af afgørende betydning for at sikre, at enhver teknisk løsning, du måtte overveje at implementere, rent faktisk passer i din organisation. Evalueringsmodellen skal sikre, at teknologien opfylder de behov, du har identificeret og kan levere på de parametre, du har angivet for den - det være sig eksempelvis forbedret servicekvalitet, forbedret arbejdsmiljø, højere omkostningseffektivitet eller alt ovenstående.

Evaluering af løsningen er din chance for at indsamle oplysninger om samspillet mellem den foreslåede teknologi og din organisation, den serviceydelse, du leverer, og selvfølgelig mellem teknologien og dine medarbejdere og slutbrugere. En god evalueringsmodel kan hjælpe dig med at frasortere potentielle mislykkede produkter og projekter og er det grundlag, som senere implementering ofte bygger på. Det vil sige, at gyldighed er af afgørende betydning.

Evalueringsmodellen tester, om de produkter, du har identificeret i markedsscreeningen, rent faktisk opfylder behovene på en tilfredsstillende måde og giver dig en platform at bygge videre på for fremtidig implementering og effektiv overvågning.

Anbefalinger

  • For at øge effektiviteten og sikre overensstemmelse i evalueringsprocessen, anbefales det at bruge en fast evalueringsmodel (f.eks en af de modeller, der er nævnt i dette dokument). Det sikrer en systematisk tilgang og fører til øget klarhed i både beslutningsprocessen og prioriteringsprocessen.
  • Det kan anbefales at foretage en "potentiel vurdering" (vurdering af de potentielle fordele ved en given teknologi), før du bruger en masse ressourcer på en hel evalueringsproces. Det er imidlertid vigtigt, at denne vurdering af potentiale er bygget på samme ramme som din faste evalueringsmodel, så du sikrer kontinuitet og præcision i vurderingen. Hvis den ikke er bygget på den samme ramme, øger du risikoen for, at den første "potentielle vurdering" viser sig at være langt ude, og at din beslutning om enten foretage evalueringen eller ej, er truffet på basis af ukorrekte oplysninger.
  • Ved vurderingen af potentialet for en given teknologi skal du huske at forbinde denne med dine identificerede behov samt din strategi og vision for arbejdet med velfærdsteknologi.
  • En evalueringsproces er krævende både hvad angår tid og kompetencer. Sørg for at afsætte de nødvendige ressourcer og om muligt koordinere med andre eksisterende aktiviteter.
  • Det er klogt at starte en evalueringsproces med at fastsætte målene for processen. Overvej altid at medtage slutbrugeren i fastsættelsen af målene. Målene kan senere justeres, efterhånden som du arbejder dig frem, men når de er fastsat fra starten, hjælper de til at give processen retning og skaber gennemsigtighed. Ligeledes er det ofte en fordel at inddrage det praktiske niveau (frontlinjepersonale) og/eller slutbrugerne, når du skal fastlægge, hvilke data-indsamlingsmetoder, der skal bruges (spørgeskema, interviews m.v.), da involvering bidrager til ejerskab og engagement.

Retningslinjer baseret på erfaring

  • Hvordan din kommune er organiseret vil spille en vigtig rolle for, hvordan teknologien vil fungere. Sørg for, at evalueringsmodellen indeholder en analyse af, om den givne teknologi fungerer godt i evalueringsmodellen. Når du foretager denne analyse, skal du overveje, om en organisatorisk ændring vil forbedre resultaterne.
  • For at sikre lokalt ejerskab og engagement er det meget vigtigt, at evalueringsmålene er relevante i hverdagen. Dette for at sikre, at evalueringsprocessen er en del af den normale daglige rutine, som kan sammenlignes med andre arbejdsaktiviteter – og ikke noget ekstraordinært, der kommer ved siden af.
  • Husk, at den fremtidige succes for teknologien afhænger af gyldigheden af din evaluering. Du skal derfor, når du designer evalueringsprocessen, sørge for, at teknologien testes i en passende tidsperiode og med en tilstrækkelig tilstedeværelse af testpersoner. At skære hjørner kan resultere i en billigere evalueringsproces, men det øger i høj grad risikoen for fejl, når den endelige løsning implementeres.
  • Sørg for, at testgruppen er repræsentativ for den tilsigtede målgruppe. Endvidere skal du sikre, at testgruppen er fuldt informeret, også om hvad der vil ske, efter testperioden udløber.
  • Det er vigtigt at huske at etablere grundlæggende målinger, der skal fungere som dit fundament, som evalueringen bygger på. Der kræves en "baseline" for alle de parametre, du ønsker at evaluere.
  • Tjek dit netværk eller nationale myndigheder for at se, om andre har evalueret denne specifikke teknologi eller noget lignende. Selv om en eksisterende evaluering ikke umiddelbart er relevant for dig, kan den fungere som værdifuld inspiration og spare tid og ressourcer.
  • Det anbefales, at din evaluering blandt andre parametre indeholder et økonomisk perspektiv, f.eks. en cost-benefit-analyse. Derudover skal du, hvis du ønsker at effektuere eventuelle økonomiske besparelser som følge af teknologien, huske at medtage dette i din evalueringsmodel. Det er vigtigt at medtage dette som "udbytte". Enhver økonomisk fordel kræver ofte et nærmere kig på din organisation og den måde, du finansierer ydelser internt.
  • Husk, at din evalueringsrapport bør også indeholde en model for, hvordan den pågældende teknologi understøttes og distribueres efter en potentiel implementering.
  • Husk, at en teknologis succes på længere sigt kan afhænge af personalets kompetencer. Alle former for uddannelse af personale er naturligvis en vigtig del af enhver evalueringsmodel og vil påvirke omkostningssiden af den endelige "business case".

Hvad har en evalueringsmodel betydet for deltagerne i CONNECT?

Odense

Det har givet Odense et værktøj, der bruges i alle afdelinger, hvilket sikrer, at alle bruger ensartede metoder og parametre. Det giver os en systematisk tilgang og skaber opmærksomhed om de kompleksiteter, der er involveret, når man evaluerer ny teknologi. Endelig udgør evalueringsmodellen en solid platform for beslutningstagere.

Metoder og værktøjer

Odense bruger den danske evalueringsmodel ved navn VTV, som er udviklet af Dansk Teknologisk Institut sammen med en separat business case-model. Begge kan findes på vores hjemmeside www.nordicwelfare.org/connect

VTV giver et godt overblik og dækker de vigtigste problemstillinger i forbindelse med produktevaluering. Den giver også et visuelt perspektiv på resultaterne af teknologien og fungerer som en god platform for beslutningstagning. I Odense er den kombineret med en mere omfattende business case-model, som tager et mere dybdegående kig på de finansielle aspekter af teknologien og dens potentielle indvirkning. Du kan læse mere om VTV på Dansk Teknologisk Instituts hjemmeside (link nedenfor), eller ved at gå til CONNECT's hjemmeside, hvor du kan finde Odenses vejledende dokumenter i, hvordan man udarbejder en VTV: http://www.teknologisk.dk/ydelser/vtv-velfaerdsteknologivurdering/32944

Göteborg anvender balancerede scorecard-modeller inden for fire perspektiver

  • Brugere/pårørende, medarbejdere, organisation og økonomi.
  • Forskellige parametre kan placeres i den anden akse som f.eks. funktionalitet, sikkerhed, kvalitet og omkostninger.

Göteborg anbefaler endvidere følgende værktøjer:

  • e-delegationens "metod för utveckling i samverkan" (http://www.esamverka.se/stod-och-vagledning/vagledningar/metod-for-utveckling-i-samverkan.html)
  • e-delegationens "Business case model".
  • www.opiguide.dk indeholder både business case-modeller, samt modeller til innovationsevaluering, der kan være nyttige værktøjer eller bruges til inspiration.
  • Digitaliseringsstyrelsen i Danmark anbefaler følgende business case-model: http://www.digst.dk/Styring/Business-case-model
  • Samveis.no indeholder både råd og værktøjer til at guide dig igennem evalueringsprocessen. Yderligere informationer på: http://www.samveis.no/metodikken/utvikling-utproving-og-evaluering/
  • Sitra i Finland har en håndbog om ledelse i social- og sundhedssektoren, som Sydkarelia i høj grad gør brug af, både med hensyn til evaluering og andre ledelsesmæssige spørgsmål. Yderligere informationer på Sitra's hjemmeside: http://www.sitra.fi/julkaisut/muut/Sosiaali_ja_terveyspalveluiden_tietojohtamisen_kasikirja.pdf

Eksempler på evalueringsmodeller fra deltagerne i CONNECT

Eksempler på dette særlige trin vises i afsnittet for metoder og værktøjer i forbindelse med metoder. Kommunerne, der er med i CONNECT, vil gerne dele deres evalueringsrapporter om de forskellige teknologier, hvis du kontakter dem direkte.

Odense

Som et eksempel kan du se på www.odense.dk/cfv hvilke teknologier, der er testet og implementeret i Odense Kommune. På vores hjemmeside www.nordicwelfare.org/connect kan du ligeledes finde Odenses dokumenter med vejledning i, hvordan man bruger VTV-metoder (som ovenfor anført), samt hvordan, de udarbejder en grundig business case.

Oulu

Deltagerne i CONNECT udfører endvidere evalueringsprocessen i forskellige miljøer og med eller uden samarbejdspartnere. Som et eksempel på en opsætning med samarbejdspartnere, se nedenstående eksempel fra Oulu:
OuluHealth Labs har et enestående, integreret sundhedstest- og udviklingsmiljø - inklusiv feedback fra professionelle - for hver fase i R&D-processen. OuluHealth Lab's serviceydelser leveres af regionernes øverste instanser, såsom Oulu Universitetshospital, Oulu University of Applied Sciences og City of Oulu s Health and Social Care Services. Oulu CityLab er en del af OuluHealth Labs. Det er et testmiljø, hvor slutbrugerne befinder sig i kundernes og patienternes hjem og inden for alle social- og sundhedsydelser i byen Oulu. Produktudviklerne vil få direkte feedback på produktet fra professionelle og kunder i et rigtigt, dagligdags social- og sundhedsplejemiljø. Læs more: www.ouluhealth.fi

Västerås

I Västerås bruger de følgende generelle tilgang til evaluering af nye løsninger: • Vi har foretaget evalueringer af ny teknologi i syv år nu. Vi forsøger at designe evalueringsmetoden individuelt fra sag til sag. Vi deler normalt evalueringen op i to faser:

  • I første fase beder vi testpersonerne om at hjælpe os med deres ekspertviden (vedr. at være en ældre person eller en person med et handicap), når de afprøver teknologien for os. Vi understreger, at det alt sammen drejer sig om at hjælpe os med at vurdere, og vi fortsætter med at give dem så meget hjælp som sædvanlig, eller i det mindste at være til stede, når de bruger teknologien.
  • Anden fase er der, hvor vi udskifter den normale måde at yde pleje med den nye måde igennem teknologi. Her har vi stadig nogle ekstra ressourcer til at støtte og til at erstatte teknologien, når den svigter, så på den måde er det stadig et pilotprojekt, men nu kan vi sige, at vi rent faktisk yder vores pleje ved hjælp af teknologien.

Fra begge disse faser indsamler vi erfaringer fra alle involverede – brugere, pårørende, personale og andre. Dataene er normalt kvalitative og ustrukturerede, men nogle gange – især når man sammenligner lignende løsninger – bruger vi også undersøgelser og andre kvantitative data.

Senast uppdaterad

2017-05-16

Nordens välfärdscenter | tel: +46 8 545 536 00 | | En institution under Nordiska ministerrådet