Evaluasi adalah
sebuah proses yang secara sistematis mengumpulkan data yang menginformasikan
tentang pendapat seseorang atau sekelompok user mengenai pengalamannnya
menggunakan sebuah produk untuk sebuah tugas tertentu dalam sebuah lingkungan
tertentu.
Evaluasi empiris
adalah proses penilaian dengan cara eksperimen, penelitian atau observasi.
Sedangkan Data empiris merupakan data y
ang diperoleh/ ditemukan/ disimpulkan
dari sebuah eksperimen atau penelitian.
Perancangan
Eksperimen
a. Hipotesa
Merupakan
prediksi yang dihasilkan dalam eksperimen. Masih menggunakan variable
independent dan dependent, dimana variasi di dalam independent variable akan
menyebabkan perbedaan pada dependent variable.
b. Variabel
-
Independent variabel ialah karakter suatu eksperimen yang
memanipulasi untuk menghasilkan kondisi yang berbeda sebagai perbandingan.
Contoh: jenis interface, level dari help, jumlah item menu dan perancangan
ikon.
-
Dependent variabel ialah variabel yang dapat diukur dalam
eksperimen. Contoh pada variabel independent adalah kecepatan dari pemilihan
menu.
c. Rancangan
1.
Between-Groups (Randomized)
-
Masing-masing subyek diberikan kondisi yang berbeda yakni
kondisi eksperimen dan kontrol.
-
Setiap user menghasilkan satu kondisi.
-
Pengaruh dari subyek banyak.
2.
Within-Groups
-
Setiap user akan menampilkan kondisi yang berbeda.
-
Jumlah user yang tersedia lebih sedikit.
-
Pengaruh dari subyek lebih sedikit.
-
Variabel yang dapat diukur dalam eksperimen. Contoh pada
variabel independent adalah kecepatan dari pemilihan menu.
d. Paradigma
1.
Quick and dirty evaluation
Adalah umpan balik berupa keinginan dan yang disukai
dari user atau konsultan yang disampaikan secara informal kepada desainer
tentang produk yang dibuatnya
2.
Usability testing
Melibatkan pengukuran kinerja user dalam mempersiapkan
tugasnya secara hati-hati, dari proses inilah maka dibuatkan desain sistemnya
3.
Field studies
Evaluasi ini dilakukan dilingkungan asli dimana user
bekerja, hal ini bertujuan untuk meningkatkan pemahaman tentang kerja user
secara alami dan bagaimana teknologi tersebut berdampak padanya.
4.
Predictive evaluation
Didasarkan pada pengalaman seorang ahli dalam
menghadapi user, dan biasanya hal ini dijadikan patokan untuk memprediksi masalah-masalah
penggunaan sebuah produk.
Partisipasi,
IRB dan Etika
a.
Partisipasi
Merupakan keikutsertaan, peranserta atau keterlibatan
yang berkaitan dengan keadaaan. Bentuk partisipasi antara lain:
-
Partisipasi harta benda: partisipasi dalam bentuk menyumbang
harta benda, biasanya berupa alat-alat kerja atau perkakas.
-
Partisipasi tenaga: partisipasi yang diberikan dalam bentuk
tenaga untuk pelaksanaan usaha-usaha yang dapat menunjang keberhasilan suatu
penilaian.
-
Partisipasi keterampilan: memberikan dorongan melalui
keterampilan yang dimilikinya kepada anggota masyarakat lain yang
membutuhkannya.
b.
IRB (Institutional Review Board)
Merupakan sebuah kelembagaan dewan peninjau (IRB),
juga dikenal sebagai komite etika independen atau dewan peninjau etik adalah
panitia yang telah ditunjuk secara resmi untuk menyetujui, memantau, dan
meninjau biomedis dan perilaku penelitian yang melibatkan manusia.
c.
Etika
Etika evaluasi terdiri dari 4 hal, yaitu:
1.
Kerahasiaan hasil evaluasi
2.
Keamanan evaluasi
3.
Intepretasi hasil evaluasi
4.
Penggunaan evaluasi
Pengumpulan Data
a. Teknik
Pengumpulan Data
1.
Teknik Observasi
a)
Think aloud
Cara yang popular dalam mengumpulkan informasi dengan
melihat interaksi user. Think aloud mempunyai keuntungan yakni sederhana, membutuhkan
sedikit pengetahuan untuk menampilkannya dan menyediakan pengertian yang
berguna dengan interface, juga dapat digunakan untuk mengobservasi bagaimana
sistem digunakan.
b)
Analisa Protokol
Terdapat beberapa metode untuk merekam kegiatan user:
-
Paper and pencil
-
Audio recording
-
Video recording
-
Computer logging
-
User notebook
c)
Automatic protocol analysis tools
EVA (Experimental Video Annotator) yaitu sistem
prototipe yang berjalan pada multi-media workstation yang dihubungkan langsung
ke video recorder.
d)
Post-task walkthroughs
Terdapat beberapa keadaan yang menyebabkan subyek
tidak dapat berbicara selama observasi sebenarnya seperti subyek sedang
mengerjakan tugas yang sangat penting dan banyak. Pada keadaan ini post-task
walkthroughs dapat melihat secara subyektif perilaku user.
2.
Teknik Query
a)
Interview
Meng-interview user tentang pengalaman mereka dengan
sistem interaktif yang menyediakan informasi secara langsung dan terstruktur.
b)
Questionnaire
Metode alternatif yang agak kurang fleksibel
dibandingkan dengan interview tetapi dapat meraih subyek yang banyak dan
membutuhkan waktu yang tidak lama. Terdapat beberapa jenis questionnaire yaitu
General, Open-ended, Scalar, Multi-choice, Ranked.
b. Metode
Pengumpulan Data
1.
Kuesioner
Kuesioner adalah daftar pertanyaan tertulis yang
ditujukan kepada responden. Jawaban responden atas semua pertanyaan dalam
kuesioner kemudian dicatat/ direkam.
2.
Observasi
Pengamatan melibatkan semua indera (penglihatan,
pendengaran, penciuman, pembau, perasa).
3.
Triangulasi
Merupakan cara pemeriksaan keabsahan data yang paling
umum digunakan. Cara ini dilakukan dengan memanfaatkan sesuatu yang lain diluar
data untuk pengecekan atau sebagai pembanding terhadap data itu.
4.
Wawancara
Pengambilan data melalui wawancara/ secara lisan
langsung dengan sumberdatanya, baik melalui tatap muka atau lewat telephone,
teleconference.
5.
Dokumen
Pengambilan data melalui dokumen tertulis mamupun
elektronik dari lembaga/ institusi.
c. Trik Pengumpulan
Data
1.
Tahap mana evaluasi akan dilakukan? ”Desain vs Implementasi”
2.
Gaya evaluasi apakah yang dibutuhkan? “Laboratorium vs
Lapangan”
3.
Objektfitas Teknik seperti apakah yang seharusya ada?
“Subyektif vs Obyektif”
4.
Level informasi apay ag dibutuhkan? “Tinggi vs Rendah”
5.
Seperti apakah level gangguannya? “Obstrusive (menonjol) vs
unobtrusive (tidak menonjol)”
6.
Sumber daya apakah yang tersedia? ”Waktu, Subjek, Peralatan
dan Kepakaran”
d. Data Subyektif
-
Kepuasan adalah penting faktor kinerja dari waktu ke waktu.
-
Belajar apa orang lebih suka adalah data yang berharga untuk
mengumpulkan Metode.
-
Cara pengumpulan data subjektif
1.
Kuesioner
2.
Wawancara
3.
Pondok Daun (misalnya, pameran dagang)
4.
Call-in product hot-line
5.
Lapangan dukungan pekerja
-
(Focus on first two)
e. Kuisioner
Kuisioner adalah
daftar pertanyaan tertulis yang ditujukan kepada responden jawaban responden
atas semua pertanyaan dalam kuesioner kemudian dicatat/direkam. Kuesioner
merupakan metode pengumpulan data yang efisien bila peneliti mengetahui secara
pasti data/informasi apa yang dibutuhkan dan bagaimana variabel yang menyatakan
informasi yang dibutuhkan tersebut diukur.
f.
Wawancara
Analist menanyai
pengguna satu demi satu, biasanya berdasarkan pertanyaan - pertanyaan yang
telah disiapkan sebelumnya.
g. Analisa Data dan
Interpretasi Hasil
Analisis data
adalah proses penyederhanaan data ke dalam bentuk yang lebih mudah dibaca dan
diinterpretasikan. Analisis dan interpretasi data diperlukan untuk merangkumkan
apa yang telah diperoleh, menilai apakah data tersebut berbasis kenyataan,
teliti, dan benar. Analisis dan interpretasi data juga diperlukan untuk memberi
jawaban terhadap pertanyaan-pertanyaan yang diajukan.
Jenis Data:
1.
Data Kuantitatif
Merupakan data yang berupa angka atau bilang-an, baik
yang diperoleh dari hasil pengukuran maupun diperolehdengan cara mengubah data
kualitatif menjadi data kuantitatif.
Contoh data kuantitatif: skor tes awal Tina untuk mata
pelajaran matematika= 65, berat badan Tini 47 kg, panjang meja tulis 150cm.
2.
Data Kualitatif
Merupakan data yang berupa kalimat-kalimat, ataudata
yang dikategorikan berdasarkan kualitas objek yang diteliti,misalnya: baik,
buruk, pandai, dan sebagainya.
Contoh data kualitatif: siswa berdiskusi secara aktif,
perhatian siswa terhadap mata pelajaran IPS rendah, dan rata-rata skor UAS
semester ini naik.
Referensi
http://qibalzz.blogspot.com/2013/06/evaluasi.html
https://imktekom.wordpress.com/evaluasi-imk/
https://elearning.uty.ac.id/pluginfile.php/126178/mod_resource/content/1/9_Evaluasi.pdf
https://repository.dinus.ac.id/docs/ajar/IMK11-TEKNIK_EVALUASI.pdf
https://123dok.com/document/y6214lgz-interaksi-manusia-dan-komputer.html
https://www.academia.edu/31533834/Evaluasi_pada_Interaksi_Manusia_dan_Komputer
Komentar
Posting Komentar