Η τεχνητή νοημοσύνη και ο κίνδυνος των ψηφιακών διακρίσεων

του Jeremy Kahn

Την προηγούμενη εβδομάδα, ένα ολλανδικό δικαστήριο διέταξε την κυβέρνηση της Ολλανδίας να πάψει να χρησιμοποιεί έναν αλγόριθμο μηχανικής μάθησης για τον εντοπισμό απατών αναφορικά με την κοινωνική πρόνοια, επικαλούμενο την παραβίαση ανθρωπίνων δικαιωμάτων.

Το σύστημα, το οποίο ονομάζεται Δείκτης Συστημικού Κινδύνου (System Risk Indicator – SyRI), χρησιμοποιείτο από τέσσερις πόλεις στην Ολλανδία για τον εντοπισμό ατόμων των οποίων οι αιτήσεις για κοινωνικά επιδόματα θα έπρεπε να εξεταστούν περαιτέρω. Συγκεκριμένα, συνέλεγε πληροφορίες από 17 διαφορετικές κυβερνητικές πηγές δεδομένων, συμπεριλαμβανομένων των αρχείων της εφορίας, των αδειών κυκλοφορίας, και του κτηματολογίου.

Όμως, οι πόλεις που χρησιμοποιούσαν το SyRI δεν το εφάρμοζαν σε κάθε αίτηση που έμπαινε στο σύστημα, παρά μόνο σε φτωχές γειτονιές όπου οι κάτοικοι είναι μετανάστες, συχνά από μουσουλμανικές χώρες.

Το δικαστήριο έκρινε ότι το SyRI παραβίαζε το «δικαίωμα στην ιδιωτική ζωή» που κατοχυρώνεται από το Ευρωπαϊκό δίκαιο ανθρωπίνων δικαιωμάτων. Η εφαρμογή του SyRI, σύμφωνα με την απόφαση, θα μπορούσε να οδηγήσει σε διακρίσεις εναντίον ατόμων βάσει του κοινωνικο-οικονομικού στάτους, της εθνικότητας ή της θρησκείας τους. Επιπλέον, το SyRI δεν συμβαδίζει με τις απαιτήσεις του GDPR, του αυστηρού νόμου περί ιδιωτικότητας στην Ευρ. Ένωση.

Αν και η απόφαση εκδόθηκε από πρωτοδικείο και μπορεί να εφεσιβληθεί, το πιθανότερο είναι ότι θέτει ένα σημαντικό νομικό προηγούμενο εντός της Ευρ. Ένωσης. Και ίσως θα έχει αντίκτυπο και αλλού, καθώς οι κοινωνίες σε όλο τον κόσμο προσπαθούν να βρουν τον τρόπο να εφαρμόζουν δίκαια μοντέλα κινδύνου που βασίζονται στην τεχνητή νοημοσύνη.

Αυτό είναι ακόμα πιο σημαντικό στον ασφαλιστικό κλάδο, ο οποίος ολοένα και περισσότερο στρέφεται σε αλγόριθμους μηχανικής μάθησης για τη βελτίωση της κάλυψης ενδεχόμενου κινδύνου.

Την προηγούμενη εβδομάδα, είχα μια ενδιαφέρουσα συζήτηση με τον Daniel Schreiber, συνιδρυτή και CEO της ασφαλιστικής startup Lemonade με έδρα στη Νέα Υόρκη. Ο ίδιος συμμερίζεται τις ανησυχίες βάσει των οποίων η κατάχρηση των αλγορίθμων μηχανικής μάθησης θα μπορούσε να οδηγήσει σε «ψηφιακές διακρίσεις», όπως φοβούνται κάποιες οργανώσεις προστασίας της ιδιωτικότητας και των δικαιωμάτων των καταναλωτών.

Όμως, αν αυτό γίνει σωστά και δίκαια, ο Schreiber πιστεύει ότι η μηχανική μάθηση μπορεί να διευρύνει την πρόσβαση σε χρηματοοικονομικές υπηρεσίες και να οδηγήσει σε μείωση του κόστους.

Για να εξασφαλιστεί μια δίκαιη διαδικασία για το underwriting, ο Schreiber υποστηρίζει τη χρήση ενός «ομοιόμορφου λόγου απωλειών». Αν μια εταιρεία εφαρμόζει δίκαιες πρακτικές underwriting, τότε ο λόγος των απωλειών της, δηλαδή το ποσό που καταβάλλει σε αξιώσεις δια του ποσού που συλλέγει σε ασφάλιστρα, θα πρέπει να είναι ο ίδιος ανεξαρτήτως φυλής, φύλου, σεξουαλικού προσανατολισμού, θρησκείας και εθνικότητας.

Ο ίδιος παραδέχεται ότι κάποιες κατηγορίες ανθρώπων – ο Schreiber αναφέρει το παράδειγμα των Εβραίων – θα μπορούσαν να έχουν μεγαλύτερες χρεώσεις κατά μέσο όρο για την ασφάλιση κατοικίας επειδή, για παράδειγμα, οι θρησκευτικές πρακτικές τους περιλαμβάνουν το άναμμα κεριών σε θρησκευτικές εορτές και το άναμμα κεριών μπορεί να συσχετίζεται με έναν μεγαλύτερο κίνδυνο πυρκαγιάς.

Όμως, κανένας δεν θα πρέπει να χρεώνεται μεγαλύτερα ασφάλιστρα επειδή είναι Εβραίος. Μπορεί π.χ. ένας συγκεκριμένος πελάτης να μην είναι θρήσκος και να μην ανάβει κεριά. Γι’ αυτό είναι σημαντικό να μην ερωτώνται οι άνθρωποι σχετικά με τις θρησκευτικές τους πεποιθήσεις – κάτι τέτοιο θα συνιστούσε διάκριση. Το κλειδί είναι η ασφαλιστική εταιρεία να συλλέγει δεδομένα που συνδέονται με τον πραγματικό κίνδυνο – δηλαδή που απαντούν στο ερώτημα: «Ανάβετε κεριά στο σπίτι σας;».