Forestil dig, at du kommer ind til din læge, og vedkommende siger,
-"Hey, jeg kunne godt tænke mig at åbne dig og fjerne noget fra dine organer! -"Øhm, hvorfor?", vil du nok sige. Hvortil din læge svarer -"Min diagnostiske machine learning model siger, at det med 99.5% sandsynlighed er godt for dig.
- "Men hvorfor er det godt for mig?
- "Altså, vi ved ikke helt hvad der foregår inde i modellen...
- ..
Ville du føle dig tryg? Eller vil det være helt ok?
Det ikke helt utænkelige scenarie er stillet op af Machine Learning-forskeren Been Kim i bogen "The Alignment Problem" af Brian Christian, hvor hun peger på problemet i machine-learning med "interpretability", som er den kæmpe udfordring med at forklare præcist, hvad der foregår inde i et komplekst neuralt netværk. Joh, det kan måske være at vi får et svar ud som ser rigtigt godt ud og scorer godt på accuracy etc, men hvis vi ikke ved, hvordan modellen er kommet frem til den løsning, og der er en fejl et eller andet sted eller en misset bias som ikke er blevet luget ud, så står man pludseligt med et reelt problem.
Bog: https://www.goodreads.com/en/book/show/50489349
Oprindeligt delt på LinkedIn