Μηχανή αυτοδίδακτη στην ιστορία της τέχνης. Art-ificial Intelligence? Algorithm Sorts Paintings Like a Person

Βασίλι Καντίνσκι, «Τοπίο με καπνοδόχο εργοστασίου»: εκτός από τα καλλιτεχνικά ρεύματα η μηχανή μπόρεσε επίσης να διακρίνει τα έργα του κάθε ζωγράφου. Wassily Kandinsky, Landscape with factory chimney (1910). A team of researchers has developed an artificial intelligence (AI) program that can classify famous works of art based on their style, genre or artist — tasks that normally require a professional art historian.

Μπορεί μια μηχανή να δει την τέχνη έτσι όπως τη βλέπουν τα ανθρώπινα μάτια; Η αυθόρμητη απάντηση στο ερώτημα αυτό είναι συνήθως αρνητική, όμως η πρόοδος της τεχνητής νοημοσύνης έρχεται να μας εκπλήξει δείχνοντάς μας ότι οι «έξυπνες» μηχανές μπορούν να αξιολογήσουν τα έργα τέχνης με τον ίδιο τρόπο με τους ανθρώπους. Σε μελέτη που έγινε πρόσφατα στις Ηνωμένες Πολιτείες ένα σύστημα τεχνητής νοημοσύνης κατόρθωσε να εξελιχθεί σε αυτοδίδακτο ιστορικό τέχνης. Μελετώντας 77.000 πίνακες ζωγραφικής έμαθε μόνο του να ξεχωρίζει σε ποιο καλλιτεχνικό ρεύμα ανήκει ο καθένας και, βάσει αυτού, τους τοποθέτησε στη σωστή χρονολογική σειρά χωρίς να του έχει δοθεί καμία πληροφορία σχετικά με τους ζωγράφους που τους δημιούργησαν ή την εποχή του κάθε καλλιτεχνικού ρεύματος. Εξίσου εντυπωσιακό, η μηχανή ξεχώρισε τα έργα του κάθε δημιουργού και ήταν σε θέση να διακρίνει σχέσεις και επιρροές ανάμεσα σε ζωγράφους όπως ο Γκρέκο ή ο Σεζάν με μεταγενέστερα καλλιτεχνικά ρεύματα. Όπως διαπίστωσαν μάλιστα οι επιστήμονες, τα κριτήρια που φάνηκε να χρησιμοποιεί - χωρίς καν να τα γνωρίζει - είναι τα ίδια με αυτά που ισχύουν στην «ανθρώπινη» ιστορία της τέχνης.

Σχολείο για μηχανές

At the Art & Artificial Intelligence Lab at Rutgers University, computer scientists Ahmed Elgammal and Babak Saleh are teaching computers how to see and think like human beings – more specifically, like art historians.

Η μελέτη έγινε από ερευνητές του Εργαστηρίου Τέχνης και Τεχνητής Νοημοσύνης του Πανεπιστημίου Ράτζερς στο Νιου Τζέρσεϊ, το οποίο τα τελευταία χρόνια δεν παύει να μας εκπλήσσει με τις ανακαλύψεις του σχετικά με τις καλλιτεχνικές ικανότητες των έξυπνων μηχανών. Προκειμένου να διερευνήσουν το πώς ένα σύστημα τεχνητής νοημοσύνης μπορεί να αξιολογεί τη ζωγραφική, οι επιστήμονες κατέφυγαν στη μηχανική μάθηση, τα υπολογιστικά προγράμματα που σχεδιάζονται έτσι ώστε μια μηχανή να μαθαίνει μόνη της με την εμπειρία και να εφαρμόζει τις γνώσεις που αποκτά για να εκτελέσει διάφορα καθήκοντα. Συγκεκριμένα, οι επιστήμονες «έβαλαν στο θρανίο» ένα σύστημα συνελικτικών νευρωνικών δικτύων - μια μορφή βαθιάς μηχανικής μάθησης η οποία χρησιμοποιείται στην «υπολογιστική όραση» για την ανάλυση οπτικών πληροφοριών.

«Προηγούμενες μελέτες, μεταξύ των οποίων κάποιες από το εργαστήριό μας, έχουν δείξει ότι μια μηχανή μπορεί να ξεχωρίσει τη διαφορά ανάμεσα σε έναν αναγεννησιακό και έναν μπαρόκ ή έναν ιμπρεσιονιστικό πίνακα» λέει ο καθηγητής Αχμέντ Ελγκαμάλ, διευθυντής του Εργαστηρίου Τέχνης και Τεχνητής Νοημοσύνης του Ράτζερς και επικεφαλής της μελέτης η οποία δημοσιεύθηκε στην ηλεκτρονική πλατφόρμα arXiv. «Θελήσαμε λοιπόν να δούμε πώς ακριβώς η μηχανή κάνει κάτι τέτοιο και αν αυτό σχετίζεται με την ιστορία της τέχνης και τη μεθοδολογία της. Έτσι χρησιμοποιήσαμε δίκτυα βαθείας μάθησης για να εκπαιδεύσουμε τη μηχανή να κατηγοριοποιεί καλλιτεχνικά ρεύματα». Τα μόνα δεδομένα που «φορτώθηκαν» στον υπολογιστή ήταν οι 77.000 εικόνες των ζωγραφικών έργων που έπρεπε να μελετήσει και μία εικόνα για κάθε καλλιτεχνικό ρεύμα - συνολικά είκοσι τον αριθμό, από την Αναγέννηση, τον 14ο αιώνα, ως την ποπ αρτ, τον 20ό αιώνα. «Μόνο αυτά δόθηκαν στη μηχανή, καμία άλλη πληροφορία» εξηγεί ο καθηγητής. «Στη συνέχεια τα δίκτυα βαθείας μάθησης "έβλεπαν" ολόκληρες τις εικόνες, εξήγαν ορισμένες πληροφορίες με διάφορους τρόπους και μετά τις επεξεργάζονταν ξανά και ξανά, ώσπου να φθάσουν σε μια τελική απόφαση».

Αυτοδίδακτος ιστορικός τέχνης

Art for the AI generation. An artificial intelligence has been developed that produces images in unconventional styles – and much of its output has already been given the thumbs up by members of the public. Credit: Art and Artificial Intelligence Laboratory, Rutgers University

Όπως αποδείχθηκε, οι αποφάσεις της μηχανής ήταν αλάνθαστες. Όχι μόνο κατηγοριοποίησε σωστά τους πίνακες στα είκοσι καλλιτεχνικά ρεύματα, αλλά επίσης τους έβαλε στη σωστή χρονολογική σειρά παρά το γεγονός ότι δεν της είχε δοθεί καμία σχετική πληροφορία. «Η μηχανή βρήκε από μόνη της ότι, για παράδειγμα, η Αναγέννηση προηγήθηκε του μπαρόκ ή ότι ο ιμπρεσιονισμός προηγήθηκε του κυβισμού» λέει ο κ. Ελγκαμάλ. «Αυτό ήταν πραγματικά εκπληκτικό. Γιατί δεν δώσαμε στη μηχανή πληροφορίες σχετικά με το πότε δημιουργήθηκε το κάθε έργο, δεν της δώσαμε την πληροφορία ότι η Αναγέννηση προηγείται του μπαρόκ. Ο τρόπος που η μηχανή τοποθέτησε τα έργα τέχνης με αυτή τη σειρά είναι πραγματικά εντυπωσιακός και σημαίνει κάτι σημαντικό. Ότι τα καλλιτεχνικά ρεύματα εξελίχθηκαν με τον χρόνο, τα οπτικά στοιχεία του στυλ εξελίχθηκαν με έναν πολύ ομαλό τρόπο με το πέρασμα των αιώνων. Και το υπολογιστικό σύστημα της μηχανής μπορεί να συλλάβει αυτή την εξέλιξη».

Σε αυτό συμφωνεί η Μάριαν Ματσόνε, αναπληρώτρια καθηγήτρια της Ιστορίας της Τέχνης στο Κολέγιο του Τσάρλεστον στη Νότια Καρολίνα, η οποία συνεργάζεται με το Εργαστήριο Τέχνης και Τεχνητής Νοημοσύνης του Ράτζερς και συνυπογράφει τη μελέτη. Όπως επισημαίνει, η ταξινόμηση των έργων στη σειρά με βάση το καλλιτεχνικό ρεύμα στο οποίο ανήκαν ήταν ακριβής μέχρι την παραμικρή... πινελιά. «Η μηχανή ήταν σε θέση να καταλάβει τη διαφορά ανάμεσα στις αρχικές εκφράσεις ενός ρεύματος και τις μεταγενέστερες, ενώ γενικώς μπορούσε να διακρίνει διαφοροποιήσεις μέσα σε κάθε ρεύμα» λέει. «Για παράδειγμα, στους πίνακες της Αναγέννησης ξεχώρισε τους ζωγράφους της πρώιμης από εκείνους της ύστερης περιόδου, όπως επίσης ξεχώρισε τους Βορειοευρωπαίους από τους Ιταλούς». Επιπλέον, όπως προσθέτει ο κ. Ελγκαμάλ, ο υπολογιστής στην κατηγοριοποίησή του «αρχίζει» το κάθε ρεύμα με τον καλλιτέχνη που πραγματικά το εισήγαγε. «Για παράδειγμα, ξεχώρισε ότι ο κυβισμός ξεκίνησε με τον Πικάσο, η Αναγέννηση της Βόρειας Ευρώπης με τον Βαν Αϊκ και τον Ντίρερ» λέει.

Γέφυρες επιρροής

Πολ Σεζάν, «Αγρότης καθιστός»: ότι ο Σεζάν αποτέλεσε «γέφυρα» από τον ιμπρεσιονισμό προς τον κυβισμό και τη μοντέρνα τέχνη ήταν γνωστό, αλλά επιβεβαιώθηκε από την τεχνητή νοημοσύνη.

Εντοπίζοντας τα κοινά σημεία των δεκάδων χιλιάδων έργων τέχνης, ο υπολογιστής έδειξε επίσης ότι έχει την ικανότητα να διακρίνει επιρροές. Στις γραφικές αναπαραστάσεις οι ερευνητές είδαν ότι σχημάτισε μια «γέφυρα» συνδέοντας τα έργα του Πολ Σεζάν, τα οποία είχε τοποθετήσει σωστά στον ιμπρεσιονισμό, με τα ρεύματα του κυβισμού και της αφηρημένης τέχνης. «Οι ιστορικοί τέχνης θα σας πουν αμέσως ότι ο Σεζάν επηρέασε τους κυβιστές και τους ζωγράφους της αφηρημένης τέχνης, ακόμα και τη Βικιπαίδεια αν κοιτάξετε γράφει ότι ο συγκεκριμένος καλλιτέχνης αντιπροσωπεύει τη μετάβαση από τον ιμπρεσιονισμό στον κυβισμό» λέει ο κ. Ελγκαμάλ. «Και η μηχανή εντόπισε αυτή τη σχέση συνδέοντας τον Σεζάν με τον ιμπρεσιονισμό αλλά απλώνοντας μια γραμμή που έφθανε στον Πικάσο, στον Καντίνσκι, στον Μάλεβιτς και σε άλλους».

Ελ Γκρέκο, «Άγιος Ιερώνυμος»: η σύνδεση του Γκρέκο και ορισμένων άλλων αναγεννησιακών ζωγράφων με κάποιους μοντέρνους καλλιτέχνες εμφανίστηκε ισχυρή.

Μια άλλη σύνδεση που έκανε ο υπολογιστής ήταν εκείνη του Γκρέκο και ορισμένων ακόμα ζωγράφων της Αναγέννησης με ζωγράφους της μοντέρνας και της αφηρημένης τέχνης. «Γνωρίζουμε, αλλά μόνο αόριστα, ότι ορισμένοι μοντέρνοι ζωγράφοι έχουν πει ότι έχουν εμπνευστεί από κάποια έργα του Γκρέκο» λέει η κυρία Ματσόνε. «Το γεγονός όμως ότι η μηχανή συνέδεσε με τόσο ισχυρό τρόπο τον Γκρέκο και άλλους αναγεννησιακούς ζωγράφους με τους μοντέρνους καλλιτέχνες για μένα υποδηλώνει πως εμείς ως ιστορικοί τέχνης θα πρέπει μάλλον να επανεξετάσουμε το συγκεκριμένο ζήτημα και να προσπαθήσουμε να κατανοήσουμε περισσότερο αυτές τις επιρροές». Εκτός από τις ομοιότητες και τους συσχετισμούς η τεχνητή νοημοσύνη μπόρεσε επίσης να διακρίνει τις ιδιαιτερότητες. Έτσι «έβγαλε στην άκρη», κατά κάποιον τρόπο σαν ειδική κατηγορία, τον Ανρί Ρουσό, τον ναΐφ ζωγράφο του μετα-ιμπρεσιονισμού. «Αν κοιτάξετε τα γραφήματα, θα δείτε ότι η μηχανή τον έχει ξεχωρίσει. Σαν να μπορεί να δει ότι υπάρχει κάτι πραγματικά ενδιαφέρον και μοναδικό στον Ρουσό το οποίο τον ξεχωρίζει από όλους τους άλλους ζωγράφους του γυρίσματος του 20ού αιώνα» επισημαίνει η καθηγήτρια.

Τα μυστικά της μάθησης

Ανρί Ρουσό, «Το όνειρο»: ο υπολογιστής ξεχώρισε σαν «ειδική κατηγορία» τον ιδιαίτερο ναΐφ ζωγράφο του μετα-ιμπρεσιονισμού.

Το τι ακριβώς εξετάζει η μηχανή και πώς καταλήγει στα συμπεράσματά της δεν είναι ακόμη απολύτως κατανοητό. Οι ερευνητές θεωρούν ότι με βάση αυτά που «βλέπει» βρίσκει ομοιότητες λαμβάνοντας υπόψη χαρακτηριστικά όπως το φως, η υφή, τα χρώματα, συγκεκριμένα σχήματα και μορφές, ή ότι σε κάποιον βαθμό ενδέχεται να αναγνωρίζει και αντικείμενα.

 Heinrich Wölfflin

Για να εξετάσουν ωστόσο κάποια από τα κριτήρια που χρησιμοποιεί, ανέλυσαν τα αποτελέσματα συγκρίνοντάς τα με τους κανόνες ταξινόμησης των καλλιτεχνικών ρευμάτων που καθιέρωσε ο ελβετός ιστορικός τέχνης Χάινριχ Βέλφλιν στις αρχές του 20ού αιώνα. «Η τεχνητή νοημοσύνη φυσικά δεν σου λέει πώς κάνει τις ερμηνείες της. Για να το διερευνήσουμε, αποφασίσαμε να χρησιμοποιήσουμε τη μεθοδολογία των ιστορικών τέχνης, και συγκεκριμένα του Βέλφλιν» εξηγεί ο κ. Ελγκαμάλ. «Όπως είδαμε, τα κριτήρια που ορίζουν οι θεμελιώδεις αρχές του Βέλφλιν, όπως π.χ. το γραμμικό και το ζωγραφικό ή η επιφάνεια και το βάθος, έχουν εφαρμοστεί από τη μηχανή. Και αυτό είναι πολύ ενδιαφέρον γιατί βλέπουμε ότι μόνο λίγοι παράγοντες μπορούν να εξηγήσουν τις περισσότερες μεταβλητές στην ιστορία της τέχνης, επιτρέποντας στη μηχανή να συλλάβει τις παραλλαγές στα οπτικά στοιχεία».

Βεβαίως ο προσδιορισμός των καλλιτεχνικών ρευμάτων, και κυρίως των χαρακτηριστικών που συνιστούν το καθένα από αυτά, δεν είναι απλή υπόθεση και συχνά φέρνει σε αντιπαράθεση και διχάζει τους μελετητές. Το βέβαιο είναι ότι δεν βασίζεται μόνο στις οπτικές πληροφορίες στις οποίες βασίστηκαν τα συνελικτικά νευρωνικά δίκτυα που χρησιμοποίησαν οι ερευνητές, και αυτό θεωρήθηκε από ορισμένους ιστορικούς τέχνης ένα μειονέκτημα της μελέτης. Η κυρία Ματσόνε ωστόσο θεωρεί ότι - από την πλευρά της ιστορίας της τέχνης και όχι από εκείνη της τεχνητής νοημοσύνης, η οποία θέλει κατά κύριο λόγο να μελετήσει πώς «σκέφτονται» οι «έξυπνες» μηχανές για να τις εξελίξει περισσότερο - το ζητούμενο στη συγκεκριμένη εργασία δεν ήταν ο προσδιορισμός του στυλ.

Σταθερότητα και ακρίβεια

Examples of images generated by the system after trained on 80K paintings from the 15th century to 20th century and forced to deviate from established styles. Credit: Art and Artificial Intelligence Laboratory, Rutgers University

Δεν χρειαζόμαστε από τη μηχανή να μας πει τι είναι η μπαρόκ ζωγραφική, αυτό το γνωρίζουμε ήδη» τονίζει η καθηγήτρια. «Εκείνο που έχει σημασία εδώ δεν είναι η ταυτοποίηση του καλλιτεχνικού ρεύματος. Για εμάς ως ιστορικούς τέχνης είναι ενδιαφέρον να δούμε τα μοτίβα που μπορεί να ανιχνεύσει η μηχανή, όχι μόνο για να διαπιστώσουμε αν είναι τα ίδια μοτίβα που ανιχνεύουν οι ιστορικοί τέχνης αλλά και για να ανακαλύψουμε αν μπορεί να δει μοτίβα και συσχετισμούς που εμείς, με το ανθρώπινο μάτι, δεν μπορούμε να δούμε». Ένα «ατού» της τεχνητής νοημοσύνης για τον εντοπισμό ομοιοτήτων και τον προσδιορισμό μοτίβων σε σχέση με το ανθρώπινο μάτι είναι ότι μπορεί να επεξεργαστεί πάρα πολλά δεδομένα πάρα πολύ γρήγορα. Αυτό βεβαίως δεν την καθιστά «καλύτερο» ιστορικό τέχνης από ό,τι οι άνθρωποι. Προσφέρει όμως στους επιστήμονες ένα μέσο για να «τεστάρουν» θεωρίες και ενδεχομένως να προβούν σε νέες ανακαλύψεις. Ήδη από αυτή την πρώτη μελέτη η μηχανή φάνηκε πολλά υποσχόμενη και προς τις δύο αυτές κατευθύνσεις.

Without “style ambiguity”, the system would just generate images that look like traditional art; i.e., not creative. Here the system is generating images with recognizable genres such as portraits, landscapes, etc. Credit: Art and Artificial Intelligence Laboratory, Rutgers University

Κατ' αρχάς, τοποθετώντας σωστά τα δεκάδες χιλιάδες έργα στα καλλιτεχνικά ρεύματα στα οποία ανήκουν, η μηχανή επιβεβαίωσε για πρώτη φορά με έναν «απτό τρόπο» ορισμένες θεμελιώδεις θεωρίες και μεθοδολογίες της ιστορίας της τέχνης. «Ένα από τα πράγματα που με εντυπωσίασαν ήταν το πόσο σταθερά ακριβής ήταν» λέει η κυρία Ματσόνε. «Ακόμη, για παράδειγμα, και το ότι ξεχώρισε τον Ρουσό για μένα επιβεβαίωσε πως υπάρχει συνέπεια με τον τρόπο με τον οποίο οι ιστορικοί τέχνης εξετάζουν την τέχνη. Για μένα είναι πολύ σημαντικό το ότι τα αποτελέσματα στηρίζουν αυτά που εμείς οι ιστορικοί τέχνης ήδη πιστεύουμε για την τέχνη. Αρχίζουμε με αυτόν τον τρόπο να έχουμε ένα εργαλείο που μπορεί να προσφέρει εμπειρική απόδειξη για τις μεθόδους μας».

Η μηχανή άφησε επίσης να διαφανούν οι δυνατότητές της ως προς τον εντοπισμό συσχετισμών που ενδεχομένως είχαν διαφύγει ως τώρα από τους ειδικούς κυρίως, όπως επισημαίνει η καθηγήτρια, με τη σύνδεση που έκανε ανάμεσα σε αναγεννησιακούς ζωγράφους όπως ο Γκρέκο και εκπροσώπους της μοντέρνας και αφηρημένης τέχνης. Ευελπιστεί μάλιστα ότι στο μέλλον θα εντοπιστούν και άλλοι καινούργιοι ενδιαφέροντες συσχετισμοί. «Έδειξε ότι μπορεί να προσφέρει νέους τρόπους για τη θεώρηση των καλλιτεχνικών ρευμάτων και την εξέταση των δεδομένων. Η ακρίβεια και η συνέπειά της για μένα δείχνει ότι τελικά υπάρχουν κάποια βασικά, θεμελιώδη χαρακτηριστικά τα οποία η μηχανή βλέπει αλλά το ανθρώπινο μάτι δεν μπορεί να δει» τονίζει. «Ίσως δεν έχουμε ακόμη το κατάλληλο λεξιλόγιο για να περιγράψουμε αυτά τα χαρακτηριστικά, ίσως να μην κατανοούμε τι ακριβώς είναι αυτά τα χαρακτηριστικά, όμως το γεγονός ότι ο τρόπος σκέψης μας και ο τρόπος με τον οποίο η μηχανή οργανώνει τα καλλιτεχνικά ρεύματα μοιάζουν τόσο πολύ δείχνει πως εδώ υπάρχουν πραγματικά θεμελιώδεις πληροφορίες. Πληροφορίες που είναι κοινές για εμάς και για τη μηχανή, και τις οποίες θα πρέπει να αρχίσουμε να διερευνούμε».

Πηγές: arxiv.org/abs/1706.07068 -  https://www.sciencedirect.com/science/article/pii/S0165168412003623 - https://medium.com/@ahmed_elgammal/generating-art-by-learning-about-styles-and-deviating-from-style-norms-8037a13ae027 - http://www.tovima.gr/science/article/?aid=941451