Ada yang aneh ketika sebuah program komputer di pengadilan Broward, Florida, Amerika Serikat (AS) pada tahun 2014 mengeluarkan skor yang memprediksi kemungkinan dua terpidana tindak pencurian Brisha Borden dan Vernon Prater bakal melakukan tindak kejahatan lagi di masa depan. Borden – yang berkulit hitam – dinilai berpotensi lebih besar melakukan tindak kejahatan baru dibanding Prater yang berkulit putih.
Dua tahun pasca skor mereka dikeluarkan, ternyata Borden tidak melakukan kejahatan baru. Justru Prater yang harus menjalani masa hukuman delapan tahun penjara karena mencuri. Laporan ini dimuat ProPublica tahun 2016 lalu sebagai bagian dari investigasi terhadap dampak algoritma di Amerika.
Skor yang dibuat untuk Borden dan Prater tersebut dikenal sebagai “penilaian risiko” dan mulai digunakan di beberapa peradilan di AS sejak 2013. Skor ini memengaruhi siapa yang dapat dibebaskan di setiap tahap sistem peradilan dan jenis rehabilitasi apa yang sesuai dengannya. Tetapi, algoritma “risiko” buatan perusahaan Northpointe itu, membuat kesalahan terhadap terdakwa kulit hitam dan putih pada tingkat hampir sama namun dengan cara berbeda.
Rumus algoritma yang digunakan Northpointe kemungkinan salah dalam menandai terdakwa kulit hitam sebagai penjahat masa depan. Kesalahan pelabelan ini berakibat orang kulit hitam dianggap berisiko melakukan kejahatan dua kali lipat lebih besar dibanding orang kulit putih. Sementara terdakwa kulit putih salah label karena berisiko lebih rendah daripada terdakwa kulit hitam.
Dari data skor risiko yang diberikan kepada 7.000 orang yang ditangkap di Broward tahun 2013 dan 2014, tim juga mengecek berapa banyak yang dikenai tuduhan kejahatan baru selama dua tahun ke depan. Skor tersebut terbukti tidak dapat diandalkan dalam meramalkan kejahatan kekerasan. Hanya 20 persen orang yang diperkirakan melakukan kekerasan yang benar-benar melakukannya kembali.
Terpidana kulit hitam yang diprediksi berisiko tinggi melakukan kekerasan namun ternyata tidak melakukan kekerasan lagi sebesar 44,9 persen, untuk kulit putih sebesar 23,5 persen. Sementara terpidana kulit putih yang diprediksi berisiko rendah melakukan kekerasan namun ternyata kembali melakukan kekerasan sebesar 47,7 persen dan kulit hitam 28 persen.
Northpointe memberi ProPublica dasar-dasar rumus kejahatan masa depan yang mencakup faktor-faktor seperti tingkat pendidikan, dan apakah terdakwa memiliki pekerjaan. Prediksi Northpointe ini berasal dari skor 137 pertanyaan yang dijawab oleh terdakwa atau ditarik dari catatan kriminal.
Ras bukanlah salah satu pertanyaan. Survei tersebut menanyakan kepada terdakwa hal-hal seperti: Apakah salah satu orang tua Anda pernah dipenjara atau tidak? Berapa banyak teman / kenalan Anda yang menggunakan narkoba secara tidak sah? Seberapa sering Anda berkelahi saat berada di sekolah? Kuesioner juga meminta terdakwa setuju atau tidak setuju dengan pernyataan seperti orang yang lapar memiliki hak untuk mencuri dan jika orang membuat saya marah atau kehilangan kesabaran, saya bisa menjadi berbahaya.
Layanan Taxi Online
Kasus sama juga terjadi dalam kualitas layanan Uber di Washington DC dengan waktu tunggu lebih pendek di lingkungan yang didominasi kulit putih dari pada kulit hitam. Riset ini dilakukan Jennifer Stark dan Nicholas Diakopoulos dari Universitas Maryland yang diterbitkan di The Washington Post tahun 2016.
Sistem komputer menyesuaikan lonjakan harga berdasarkan jumlah pesanan yang masuk. Pengemudi akan menyasar lokasi yang lonjakannya lebih tinggi yang artinya mereka berpindah ke lokasi tersebut dan membuat waktu tunggu lebih singkat. Sementara di daerah yang tidak mengalami lonjakan harga, mereka harus menunggu waktu lebih lama karena lokasi pengemudi yang jauh. Lonjakan harga berada di daerah tengah yang didominasi kulit putih, sementara daerah yang tidak mengalami lonjakan harga berada di daerah pinggiran yang didominasi kulit hitam.
Jadi apa yang terjadi di algoritma ini, dan bagaimana bisa dipertanggungjawabkan?
Menurut Diakopoulos, banyak investigasi menarik yang bisa dilakukan dengan mencoba mengetahui bagaimana kinerja algoritma. Wartawan investigasi bisa memainkan peran ini, mengumpulkan data dan menentukan apakah hasilnya tidak adil atau diskriminatif. Atau mungkin menimbulkan konsekuensi negatif lain, seperti penyensoran, pelanggaran hukum, pelanggaran privasi dan prediksi yang salah.
Bagaimana dengan metodologi investigasinya? Ada umpan balik antara algoritma dan orang yang merancangnya. Algoritma adalah sistem dinamis yang tidak stabil, hasilnya bisa berubah setiap hari, jadi pelacakan dalam waktu tertentu mungkin diperlukan. Ukuran atau dimensi sampling yang sesuai perlu diputuskan, dan variabel perlu dipertimbangkan. Lalu ada banyak aspek legal dan peraturan untuk dilihat.
“Tapi mungkin yang terpenting apa yang dimaksud sebagai algoritma ‘adil’? Orang yang berbeda akan memiliki pandangan yang berbeda mengenai hal itu, tapi mungkin sebaiknya kita tidak membiarkan algoritma selalu memutuskannya untuk kita,” kata Diakopoulos, dikutip dari journalismfund.eu yang diterbitkan Mei 2017.
