All Models are Wrong, but some are useful… and some are dangerous – Part 5

Menggunakan model disarankan, namun hati-hati karena ada model yang menyesatkan, model yang memperbudak, dan model yang digunakan untuk membenarkan, bukan untuk memahami.

Pada tahun 2020, model-model epidemiologi dari universitas terkemuka di seluruh dunia, termasuk Indonesia, memprediksi puncak dan akhir COVID-19 dengan angka yang sangat spesifik. Model-model itu dibangun oleh orang-orang cerdas dengan data terbaik yang tersedia saat itu. Hasilnya? Hampir semua meleset dan sebagian besar meleset sangat jauh. Beberapa memprediksi pandemi akan mereda dalam hitungan bulan. Kenyataannya berlangsung lebih dari dua tahun dengan gelombang yang tidak terprediksi.

Pada tahun 2008, model-model risiko keuangan yang digunakan oleh bank-bank terbesar di dunia, model yang sudah divalidasi, disertifikasi, dan dipercaya selama bertahun-tahun oleh regulator dan pelaku industri, gagal mengantisipasi krisis yang kemudian menghancurkan ekonomi global. Model yang sama yang membuat para bankir merasa aman justru menjadi alasan mereka tidak melihat bahaya yang sedang mendekat. Ketika krisis akhirnya datang, bukan hanya bank-bank yang kolaps; jutaan orang kehilangan pekerjaan, rumah, dan tabungan hidup mereka.

Dua kasus. Dua bidang yang berbeda. Satu pelajaran yang sama: model yang dipercaya penuh, tanpa kesadaran akan batas-batasnya, bisa lebih berbahaya dari tidak punya model sama sekali.

Kredo yang sering salah dimengerti

“All models are wrong, but some are useful.” adalah kalimat dari George Box, statistikawan yang karyanya membentuk cara berpikir ilmiah modern, ini adalah salah satu kalimat yang paling sering dikutip dan paling sering salah dimengerti dalam sejarah ilmu pengetahuan terapan.

Ia sering digunakan sebagai pembelaan yang nyaman: “Ya, model kami tidak sempurna, tapi tetap berguna.” Seperti sebuah tameng yang melindungi model dari kritik yang terlalu keras. Tapi yang jarang diperhatikan adalah bagian yang tidak terucapkan dalam kredo itu, bagian yang George Box sendiri sangat sadari: “… beberapa model tidak hanya salah, tapi berbahaya”.

Bukan karena pembuatnya tidak kompeten. Bukan karena niatnya tidak baik. Tapi karena cara model itu dibangun, cara ia dikomunikasikan, dan cara ia digunakan, atau disalahgunakan, oleh mereka yang memegangnya.

Ada tiga jebakan utama yang perlu dipahami oleh siapapun yang menggunakan model untuk mengambil keputusan penting.

Jebakan pertama: model yang terlalu sederhana: melihat gajah dari ekornya saja

Model yang terlalu sederhana adalah model yang mengabaikan variabel atau dinamika yang justru paling menentukan; karena terlalu sulit diukur, terlalu tidak nyaman untuk diakui, atau terlalu tidak familiar dengan cara berpikir pembuatnya.

Model prediksi COVID awal banyak yang mengasumsikan perilaku manusia sebagai konstanta; bahwa orang akan bereaksi terhadap wabah dengan cara yang bisa diprediksi dan seragam di seluruh populasi. Asumsi itu masuk akal secara teknis dalam kerangka model epidemiologi standar. Tapi kenyataannya, respons perilaku manusia adalah salah satu variabel paling menentukan dalam dinamika pandemi; dan ia jauh lebih kompleks, lebih tidak linier, dan lebih dipengaruhi oleh konteks budaya, sosial, dan politik daripada yang bisa ditangkap oleh persamaan diferensial.

Hasilnya adalah model yang secara teknis konsisten dengan asumsi-asumsinya, tapi secara fundamental menyesatkan karena asumsi-asumsinya tidak menangkap realita yang paling penting. Dan karena model itu datang berbalut angka yang presisi dan grafik yang rapi, ia dikomunikasikan, dan diterima, dengan tingkat kepercayaan yang jauh melampaui apa yang seharusnya ia layak dapatkan.

Jebakan ini tidak hanya terjadi di epidemiologi. Ia terjadi di mana-mana ketika kita menyederhanakan masalah yang kompleks menjadi sesuatu yang lebih mudah dikelola; karena kenyamanan, karena keterbatasan waktu, atau karena tekanan untuk menghasilkan angka yang bisa dikomunikasikan dengan cepat kepada audiens yang tidak punya kesabaran terhadap kompleksitas.

Seperti orang yang baru pertama kali menyentuh gajah dari ekornya, lalu dengan penuh keyakinan menyimpulkan bahwa gajah adalah binatang yang tipis dan berbentuk seperti tali.

Jebakan kedua: model yang terlalu kompleks: presisi yang menipu

Jebakan yang berlawanan arah tapi sama berbahayanya.

Model yang terlalu kompleks: yang memasukkan begitu banyak variabel dan hubungan sehingga hanya pembuatnya yang benar-benar memahami cara kerjanya; menciptakan sesuatu yang sangat berbahaya: ilusi presisi.

Model risiko keuangan yang digunakan sebelum krisis 2008 adalah contoh yang hampir sempurna untuk jebakan ini. Model-model itu sangat canggih secara matematis: begitu canggih sehingga bahkan para eksekutif senior yang menggunakannya sebagai dasar keputusan miliaran dolar tidak sepenuhnya memahami mekanisme di baliknya. Mereka mempercayai output modelnya bukan karena mereka memahami logikanya, tapi karena modelnya terlihat sangat ilmiah, sangat kuantitatif, dan sangat presisi.

Masalahnya: presisi dalam perhitungan tidak sama dengan akurasi dalam prediksi. Model yang sangat tepat dalam menghitung sesuatu yang salah tetap akan menghasilkan kesimpulan yang salah; hanya saja dengan lebih banyak angka di belakang koma dan lebih banyak grafik yang meyakinkan.

Model yang kompleks juga menciptakan masalah lain yang lebih halus tapi sama berbahayanya: ia sulit diperdebatkan. Ketika tidak ada orang di ruangan yang benar-benar memahami cara kerja sebuah model, tidak ada yang bisa mempertanyakan asumsi-asumsinya dengan efektif. Dan asumsi yang tidak bisa dipertanyakan adalah asumsi yang paling berbahaya; karena ia bekerja dalam kegelapan, jauh dari mata yang kritis.

Kompleksitas yang tidak bisa dikomunikasikan bukan tanda kecanggihan. Ia adalah tanda bahwa model sudah berhenti menjadi alat berpikir; dan mulai menjadi alat kekuasaan.

Jebakan ketiga: model sebagai justifikasi: kesimpulan dulu, model kemudian

Ini yang paling jarang dibicarakan secara terbuka. Dan justru karena itu, paling sering terjadi.

Model seharusnya digunakan untuk eksplorasi: untuk memahami masalah, menguji asumsi, dan mengeksplorasi konsekuensi dari berbagai pilihan sebelum keputusan diambil. Ia adalah alat untuk berpikir; bukan alat untuk meyakinkan.

Tapi dalam praktik, model sering berjalan ke arah yang berlawanan. Keputusan sudah dibuat: berdasarkan intuisi, kepentingan, tekanan politik, atau sekadar preferensi yang kuat; lalu model dibangun atau dipilih untuk membenarkan keputusan yang sudah ada itu. Bukan untuk memahami masalah. Tapi untuk memberikan keputusan yang sudah dibuat, sebuah kemasan yang terlihat objektif dan ilmiah.

Ini bukan teori konspirasi canggih tentang ketidakjujuran yang disengaja. Ini adalah dinamika yang sangat manusiawi dan sangat sulit dihindari bahkan oleh orang-orang yang berniat baik. Ketika seseorang sudah yakin dengan sebuah kesimpulan,karena pengalaman, karena intuisi yang kuat, atau karena kepentingan yang nyata, ia secara tidak sadar akan memilih model yang mengkonfirmasi keyakinannya, menggunakan asumsi yang menghasilkan output yang diinginkan, dan mengabaikan model alternatif yang mungkin menunjukkan arah yang berbeda.

Hasilnya adalah model yang terlihat objektif dan ilmiah di permukaan, tapi sesungguhnya hanyalah cerminan dari kesimpulan yang sudah dipegang sebelumnya. Dan karena ia datang berbalut angka dan diagram, ia jauh lebih sulit untuk ditantang daripada pendapat yang diungkapkan secara jujur tanpa kemasan kuantitatif.

Model yang digunakan sebagai justifikasi bukan hanya tidak berguna; ia aktif merusak kualitas diskusi dan pengambilan keputusan, karena ia menutup ruang untuk perdebatan yang seharusnya terjadi.

Tiga pertanyaan untuk menggunakan model dengan bijak

Mengetahui tiga jebakan ini tidak berarti kita harus berhenti menggunakan model. Justru sebaliknya, kesadaran tentang jebakan adalah syarat untuk menggunakan model dengan cara yang benar-benar berguna.

Ada tiga pertanyaan yang perlu diajukan setiap kali model digunakan untuk keputusan yang penting.

Pertama: apa yang tidak ditangkap model ini? Setiap model punya batas: variabel yang diabaikan, dinamika yang disederhanakan, asumsi yang tidak diperiksa. Mengetahui batas-batas itu dan jujur tentangnya kepada semua pihak yang menggunakan model adalah tanda bahwa model yang digunakan digunakan dengan sehat. Model yang penggunanya tidak bisa menjawab pertanyaan ini adalah model yang berbahaya.

Kedua: apakah model ini bisa diperdebatkan oleh orang lain? Jika tidak ada orang yang bisa mempertanyakan asumsi model ini secara substantif, bukan karena tidak mau, tapi karena tidak memahaminya, itu bukan tanda modelnya terlalu canggih untuk dikritik. Itu tanda bahwa ada yang kurang tepat dalam cara model itu dikomunikasikan dan digunakan.

Ketiga: apakah model ini digunakan untuk memahami atau untuk membenarkan? Pertanyaan yang paling jujur, dan paling tidak nyaman, dari ketiganya. Tidak selalu mudah dijawab, terutama oleh diri sendiri. Tapi justru karena itu paling perlu diajukan, sebelum model itu digunakan sebagai dasar keputusan yang konsekuensinya harus ditanggung oleh banyak orang.

Kredo yang lebih lengkap

“All models are wrong, but some are useful” — George Box.

Tapi mungkin kredo yang lebih lengkap untuk pengambil keputusan adalah ini: semua model salah, beberapa berguna, dan beberapa berbahaya. Yang membedakannya bukan kecanggihan modelnya; tapi kesadaran penggunanya tentang apa yang ditangkap model itu, apa yang tidak, dan untuk tujuan apa ia sesungguhnya digunakan. Dan kesadaran itu menjadi jauh lebih kritis ketika model tidak lagi digunakan untuk keputusan satu individu atau satu organisasi; tetapi untuk kebijakan yang menyentuh kehidupan jutaan orang. Di situlah perjalanan kita berikutnya akan membawa kita.


Catatan Editorial : Artikel ini adalah bagian kelima dari seri tentang model dan pengambilan keputusan. Perjalanan ini dimulai dari memahami mental model — peta tersembunyi yang kita bawa tanpa sadar dalam setiap keputusan. Lalu bergerak ke bagaimana model membantu kita mengenali pola di balik masalah yang tampak berbeda-beda. Kemudian, bagaimana data saja tidak cukup — dan apa yang model tambahkan yang data tidak bisa berikan. Artikel ini mengajak kita untuk jujur tentang sisi lain dari model: batas-batasnya, jebakannya, dan cara menggunakannya dengan bijak. Artikel berikutnya akan membawa perjalanan ini ke arena yang lebih besar: kebijakan publik — di mana konsekuensi dari model yang salah digunakan tidak lagi dirasakan oleh satu tim atau satu organisasi, tapi oleh jutaan orang yang bahkan tidak tahu bahwa keputusan tentang kehidupan mereka diambil berdasarkan sebuah model.

 

Tinggalkan komentar