Wenn Sie sich das folgende Bild ansehen, sehen Sie Personen, Objekte und Gebäude.
Es weckt Erinnerungen an vergangene Erfahrungen, ähnliche Situationen, denen Sie begegnet sind.
Die Menge schaut in die gleiche Richtung und hält Telefone hoch, was Ihnen sagt, dass dies eine Art Ereignis ist.
Die Person, die in der Nähe der Kamera steht, trägt ein T-Shirt, das auf das Ereignis hinweist.
Wenn Sie sich andere kleine Details ansehen, können Sie aus dem Bild viel mehr Informationen ableiten.
Foto von Joshua J.
Cotten auf Unsplash Für einen Computer ist dieses Bild jedoch - wie alle Bilder - eine Anordnung von Pixeln, numerischen Werten, die Rot-, Grün- und Blautöne darstellen.
Eine der Herausforderungen, mit denen sich Informatiker seit den 1950er Jahren auseinandergesetzt haben, bestand darin, Maschinen zu entwickeln, die Fotos und Videos wie Menschen sinnvoll machen können.
Das Feld von Computer Vision ist zu einem der heißesten Forschungsbereiche in der Informatik und künstlichen Intelligenz geworden.
Jahrzehnte später haben wir große Fortschritte bei der Entwicklung von Software gemacht, die den Inhalt visueller Daten verstehen und beschreiben kann.
Wir haben aber auch herausgefunden, wie weit wir gehen müssen, bevor wir eine der grundlegenden Funktionen des menschlichen Gehirns verstehen und replizieren können.
Eine kurze Geschichte der Computer Vision
1966 starteten Seymour Papert und Marvin Minsky, zwei Pioniere der künstlichen Intelligenz, das Summer Vision Project, ein zweimonatiges 10-Mann-Projekt zur Schaffung eines Computersystems, mit dem Objekte in Bildern identifiziert werden können.
Um die Aufgabe zu erfüllen, musste ein Computerprogramm bestimmen können, welche Pixel zu welchem ??Objekt gehörten.
Dies ist ein Problem, das das menschliche Sichtsystem, das von unserem umfassenden Wissen über die Welt und Milliarden von Jahren Evolution angetrieben wird, leicht löst.
Aber für Computer, deren Welt nur aus Zahlen besteht, ist es eine herausfordernde Aufgabe.
Zum Zeitpunkt dieses Projekts war der symbolische Zweig der künstlichen Intelligenz die symbolische KI, auch als regelbasierte KI bekannt: Programmierer haben die Regeln für die Erkennung von Objekten in Bildern manuell festgelegt.
Das Problem war jedoch, dass Objekte in Bildern aus verschiedenen Winkeln und in verschiedenen Lichtverhältnissen erscheinen konnten.
Das Objekt wird möglicherweise vor verschiedenen Hintergründen angezeigt oder teilweise von anderen Objekten verdeckt.
Jedes dieser Szenarien generiert unterschiedliche Pixelwerte, und es ist praktisch unmöglich, für jedes einzelne Szenario manuelle Regeln zu erstellen.
Natürlich kam das Summer Vision-Projekt nicht weit und lieferte nur begrenzte Ergebnisse.
Einige Jahre später, 1979, schlug der japanische Wissenschaftler Kunihiko Fukushima das Neocognitron vor, ein Computer-Vision-System, das auf neurowissenschaftlichen Forschungen am menschlichen visuellen Kortex basiert.
Obwohl Fukushimas Neocognitron keine komplexen visuellen Aufgaben ausführen konnte, legte es den Grundstein für eine der wichtigsten Entwicklungen in der Geschichte des Computer Vision.
Die tief lernende Revolution
In den 1980er Jahren führte der französische Informatiker Yan LeCun das Convolutional Neural Network (CNN) ein, ein KI-System, das von Fukushimas Neokognitron inspiriert ist.
Ein CNN besteht aus mehreren Schichten künstlicher Neuronen, mathematischen Komponenten, die die Funktionsweise ihrer biologischen Gegenstücke grob imitieren.
Wenn ein Faltungs-Neuronales Netzwerk ein Bild verarbeitet, extrahiert jede seiner Schichten spezifische Merkmale aus den Pixeln.
Die erste Schicht erkennt sehr grundlegende Dinge wie vertikale und horizontale Kanten.
Wenn Sie sich tiefer in das neuronale Netzwerk hineinbewegen, erkennen die Ebenen komplexere Merkmale, einschließlich Ecken und Formen.
Die letzten Schichten des CNN erkennen bestimmte Dinge wie Gesichter, Türen und Autos.
Die Ausgabeschicht des CNN stellt eine Tabelle mit numerischen Werten bereit, die die Wahrscheinlichkeit darstellt, mit der ein bestimmtes Objekt im Bild entdeckt wurde.
Die obersten Schichten neuronaler Netze erkennen allgemeine Merkmale.
tiefere Schichten erkennen tatsächliche Objekte (Quelle: arxiv.org) Die Faltungs-Neuronalen Netze von LeCun waren brillant und vielversprechend, wurden jedoch durch ein ernstes Problem gebremst: Die Optimierung und Verwendung dieser Netze erforderte große Datenmengen und Rechenressourcen, die zu diesem Zeitpunkt nicht verfügbar waren.
CNNs fanden schließlich kommerzielle Verwendung in einigen begrenzten Bereichen wie dem Bankwesen und den Postdiensten, wo sie zur Verarbeitung handschriftlicher Ziffern und Briefe auf Umschlägen und Schecks verwendet wurden.
Im Bereich der Objekterkennung blieben sie jedoch auf der Strecke und machten anderen Techniken des maschinellen Lernens Platz, wie beispielsweise Support-Vektor-Maschinen und zufällige Wälder.
Im Jahr 2012 entwickelten KI-Forscher aus Toronto AlexNet, ein Faltungsnetzwerk, das im beliebten ImageNet-Bilderkennungswettbewerb dominierte.
Der Sieg von AlexNet zeigte, dass es angesichts der zunehmenden Verfügbarkeit von Daten und Rechenressourcen möglicherweise an der Zeit war, CNNs erneut zu besuchen.
Die Veranstaltung weckte das Interesse an CNNs und löste eine Revolution im Bereich Deep Learning aus, dem Zweig des maschinellen Lernens, bei dem mehrschichtige künstliche neuronale Netze verwendet werden.
Dank der Fortschritte in Faltungs-Neuronalen Netzen und des tiefen Lernens seitdem ist das Computer-Sehen sprunghaft gewachsen.
Anwendungen von Computer Vision
Viele der Anwendungen, die Sie täglich verwenden, verwenden Computer-Vision-Technologie.
Google verwendet es, um Sie bei der Suche nach Objekten und Szenen in Ihrer Bilderbibliothek zu unterstützen, z.
B.
"Hund" oder "Sonnenuntergang".
Andere Unternehmen verwenden Computer Vision, um Bilder zu verbessern.
Ein Beispiel ist Adobe Lightroom CC, das Algorithmen für maschinelles Lernen verwendet, um die Details gezoomter Bilder zu verbessern.
Beim herkömmlichen Zoomen werden Interpolationstechniken verwendet, um die vergrößerten Bereiche einzufärben.
Lightroom verwendet jedoch Computer Vision, um Objekte in Bildern zu erkennen und ihre Funktionen beim Vergrößern zu schärfen.
Ein Bereich, in dem dank der Fortschritte in der Bildverarbeitung bemerkenswerte Fortschritte erzielt wurden, ist die Gesichtserkennung.
Apple verwendet Gesichtserkennungsalgorithmen, um iPhones zu entsperren.
Facebook verwendet die Gesichtserkennung, um Benutzer in Bildern zu erkennen, die Sie online veröffentlichen (obwohl nicht jeder ein Fan ist).
In China bieten viele Einzelhändler mittlerweile Gesichtserkennungstechnologien an, die ihre Kunden von der Notwendigkeit entlasten, in die Tasche zu greifen.
Fortschritte bei der Gesichtserkennung haben jedoch auch bei Befürwortern von Datenschutz und Rechten zu Besorgnis geführt, insbesondere da Regierungsbehörden in verschiedenen Ländern sie zur Überwachung verwenden.
Die Moderation von Inhalten ist eine weitere wichtige Anwendung für Computer Vision.
Unternehmen wie Facebook müssen täglich Milliarden von Posts überprüfen und Bilder und Videos entfernen, die Gewalt, Extremismus oder Pornografie enthalten.
Die meisten Social-Media-Netzwerke verwenden Deep-Learning-Algorithmen, um Beiträge zu analysieren und diejenigen zu kennzeichnen, die gesperrte Inhalte enthalten.
Empfohlen von unseren Redakteuren
Computer Vision wird immer mehr zu einem unverzichtbaren Werkzeug in der Medizin.
Deep-Learning-Algorithmen zeigen eine beeindruckende Genauigkeit bei der Analyse medizinischer Bilder.
Krankenhäuser und Universitäten verwenden Computer Vision, um verschiedene Krebsarten durch Untersuchung von Röntgen- und MRT-Scans vorherzusagen.
Selbstfahrende Autos sind auch stark auf Computer Vision angewiesen, um ihre Umgebung zu verstehen.
Deep-Learning-Algorithmen analysieren Video-Feeds von am Fahrzeug installierten Kameras und erkennen Personen, Autos, Straßen und andere Objekte, um das Auto bei der Navigation in seiner Umgebung zu unterstützen.
Die Grenzen des Computer Vision
Aktuelle Computer-Vision-Systeme leisten gute Arbeit bei der Klassifizierung von Bildern und der Lokalisierung von Objekten in Fotos, wenn sie an genügend Beispielen geschult sind.
Im Kern stimmen die Deep-Learning-Algorithmen, die Computer-Vision-Anwendungen unterstützen, mit Pixelmustern überein.
Sie haben kein Verständnis dafür, was in den Bildern vor sich geht.
Das Verständnis der Beziehungen zwischen Personen und Objekten in visuellen Daten erfordert gesunden Menschenverstand und Hintergrundwissen.
Aus diesem Grund können die von Social-Media-Netzwerken verwendeten Computer-Vision-Algorithmen Nacktinhalte erkennen, haben jedoch häufig Schwierigkeiten, den Unterschied zwischen sicherer Nacktheit (Stillen oder Kunst der Renaissance) und verbotenen Inhalten wie Pornografie zu erkennen.
Ebenso ist es für diese Algorithmen schwierig, den Unterschied zwischen extremistischer Propaganda und einer Dokumentation über extremistische Gruppen zu erkennen.
Menschen können ihr umfassendes Wissen über die Welt nutzen, um die Lücken zu füllen, wenn sie sich einer Situation gegenübersehen, die sie zuvor noch nicht gesehen haben.
Im Gegensatz zu Menschen müssen Computer-Vision-Algorithmen gründlich über die Arten von Objekten unterrichtet werden, die sie erkennen müssen.
Sobald ihre Umgebung Dinge enthält, die von ihren Trainingsbeispielen abweichen, beginnen sie irrational zu handeln, z.
B.
wenn sie an ungeraden Orten geparkte Einsatzfahrzeuge nicht erkennen.
Derzeit besteht die einzige Lösung zur Lösung dieser Probleme darin, KI-Algorithmen an immer mehr Beispielen zu trainieren, in der Hoffnung, dass zusätzliche Daten jede Situation abdecken, mit der die KI konfrontiert sein wird.
Aber wie die Erfahrung zeigt, wird es ohne Situationsbewusstsein immer Eckfälle geben - seltene Situationen, die den KI-Algorithmus verwirren.
Viele Experten glauben, dass wir nur dann echte Computer-Vision erreichen können, wenn wir künstliche allgemeine Intelligenz schaffen, KI, die Probleme auf die gleiche Weise wie Menschen lösen kann.
Wie die Informatikerin und KI-Forscherin Melanie Mitchell in ihrem Buch sagt Künstliche Intelligenz: Ein Leitfaden für das Denken des Menschen: "Es scheint, dass visuelle Intelligenz nicht leicht vom Rest der Intelligenz zu trennen ist, insbesondere von Allgemeinwissen, Abstraktion und Sprache.
Außerdem könnte es sein, dass das Wissen, das für menschenähnliche visuelle Intelligenz benötigt wird, nicht aus Millionen von Bildern gelernt werden kann aus dem Internet heruntergeladen, muss aber in der realen Welt auf irgendeine Weise erlebt werden.
"
Wenn Sie sich das folgende Bild ansehen, sehen Sie Personen, Objekte und Gebäude.
Es weckt Erinnerungen an vergangene Erfahrungen, ähnliche Situationen, denen Sie begegnet sind.
Die Menge schaut in die gleiche Richtung und hält Telefone hoch, was Ihnen sagt, dass dies eine Art Ereignis ist.
Die Person, die in der Nähe der Kamera steht, trägt ein T-Shirt, das auf das Ereignis hinweist.
Wenn Sie sich andere kleine Details ansehen, können Sie aus dem Bild viel mehr Informationen ableiten.
Foto von Joshua J.
Cotten auf Unsplash Für einen Computer ist dieses Bild jedoch - wie alle Bilder - eine Anordnung von Pixeln, numerischen Werten, die Rot-, Grün- und Blautöne darstellen.
Eine der Herausforderungen, mit denen sich Informatiker seit den 1950er Jahren auseinandergesetzt haben, bestand darin, Maschinen zu entwickeln, die Fotos und Videos wie Menschen sinnvoll machen können.
Das Feld von Computer Vision ist zu einem der heißesten Forschungsbereiche in der Informatik und künstlichen Intelligenz geworden.
Jahrzehnte später haben wir große Fortschritte bei der Entwicklung von Software gemacht, die den Inhalt visueller Daten verstehen und beschreiben kann.
Wir haben aber auch herausgefunden, wie weit wir gehen müssen, bevor wir eine der grundlegenden Funktionen des menschlichen Gehirns verstehen und replizieren können.
Eine kurze Geschichte der Computer Vision
1966 starteten Seymour Papert und Marvin Minsky, zwei Pioniere der künstlichen Intelligenz, das Summer Vision Project, ein zweimonatiges 10-Mann-Projekt zur Schaffung eines Computersystems, mit dem Objekte in Bildern identifiziert werden können.
Um die Aufgabe zu erfüllen, musste ein Computerprogramm bestimmen können, welche Pixel zu welchem ??Objekt gehörten.
Dies ist ein Problem, das das menschliche Sichtsystem, das von unserem umfassenden Wissen über die Welt und Milliarden von Jahren Evolution angetrieben wird, leicht löst.
Aber für Computer, deren Welt nur aus Zahlen besteht, ist es eine herausfordernde Aufgabe.
Zum Zeitpunkt dieses Projekts war der symbolische Zweig der künstlichen Intelligenz die symbolische KI, auch als regelbasierte KI bekannt: Programmierer haben die Regeln für die Erkennung von Objekten in Bildern manuell festgelegt.
Das Problem war jedoch, dass Objekte in Bildern aus verschiedenen Winkeln und in verschiedenen Lichtverhältnissen erscheinen konnten.
Das Objekt wird möglicherweise vor verschiedenen Hintergründen angezeigt oder teilweise von anderen Objekten verdeckt.
Jedes dieser Szenarien generiert unterschiedliche Pixelwerte, und es ist praktisch unmöglich, für jedes einzelne Szenario manuelle Regeln zu erstellen.
Natürlich kam das Summer Vision-Projekt nicht weit und lieferte nur begrenzte Ergebnisse.
Einige Jahre später, 1979, schlug der japanische Wissenschaftler Kunihiko Fukushima das Neocognitron vor, ein Computer-Vision-System, das auf neurowissenschaftlichen Forschungen am menschlichen visuellen Kortex basiert.
Obwohl Fukushimas Neocognitron keine komplexen visuellen Aufgaben ausführen konnte, legte es den Grundstein für eine der wichtigsten Entwicklungen in der Geschichte des Computer Vision.
Die tief lernende Revolution
In den 1980er Jahren führte der französische Informatiker Yan LeCun das Convolutional Neural Network (CNN) ein, ein KI-System, das von Fukushimas Neokognitron inspiriert ist.
Ein CNN besteht aus mehreren Schichten künstlicher Neuronen, mathematischen Komponenten, die die Funktionsweise ihrer biologischen Gegenstücke grob imitieren.
Wenn ein Faltungs-Neuronales Netzwerk ein Bild verarbeitet, extrahiert jede seiner Schichten spezifische Merkmale aus den Pixeln.
Die erste Schicht erkennt sehr grundlegende Dinge wie vertikale und horizontale Kanten.
Wenn Sie sich tiefer in das neuronale Netzwerk hineinbewegen, erkennen die Ebenen komplexere Merkmale, einschließlich Ecken und Formen.
Die letzten Schichten des CNN erkennen bestimmte Dinge wie Gesichter, Türen und Autos.
Die Ausgabeschicht des CNN stellt eine Tabelle mit numerischen Werten bereit, die die Wahrscheinlichkeit darstellt, mit der ein bestimmtes Objekt im Bild entdeckt wurde.
Die obersten Schichten neuronaler Netze erkennen allgemeine Merkmale.
tiefere Schichten erkennen tatsächliche Objekte (Quelle: arxiv.org) Die Faltungs-Neuronalen Netze von LeCun waren brillant und vielversprechend, wurden jedoch durch ein ernstes Problem gebremst: Die Optimierung und Verwendung dieser Netze erforderte große Datenmengen und Rechenressourcen, die zu diesem Zeitpunkt nicht verfügbar waren.
CNNs fanden schließlich kommerzielle Verwendung in einigen begrenzten Bereichen wie dem Bankwesen und den Postdiensten, wo sie zur Verarbeitung handschriftlicher Ziffern und Briefe auf Umschlägen und Schecks verwendet wurden.
Im Bereich der Objekterkennung blieben sie jedoch auf der Strecke und machten anderen Techniken des maschinellen Lernens Platz, wie beispielsweise Support-Vektor-Maschinen und zufällige Wälder.
Im Jahr 2012 entwickelten KI-Forscher aus Toronto AlexNet, ein Faltungsnetzwerk, das im beliebten ImageNet-Bilderkennungswettbewerb dominierte.
Der Sieg von AlexNet zeigte, dass es angesichts der zunehmenden Verfügbarkeit von Daten und Rechenressourcen möglicherweise an der Zeit war, CNNs erneut zu besuchen.
Die Veranstaltung weckte das Interesse an CNNs und löste eine Revolution im Bereich Deep Learning aus, dem Zweig des maschinellen Lernens, bei dem mehrschichtige künstliche neuronale Netze verwendet werden.
Dank der Fortschritte in Faltungs-Neuronalen Netzen und des tiefen Lernens seitdem ist das Computer-Sehen sprunghaft gewachsen.
Anwendungen von Computer Vision
Viele der Anwendungen, die Sie täglich verwenden, verwenden Computer-Vision-Technologie.
Google verwendet es, um Sie bei der Suche nach Objekten und Szenen in Ihrer Bilderbibliothek zu unterstützen, z.
B.
"Hund" oder "Sonnenuntergang".
Andere Unternehmen verwenden Computer Vision, um Bilder zu verbessern.
Ein Beispiel ist Adobe Lightroom CC, das Algorithmen für maschinelles Lernen verwendet, um die Details gezoomter Bilder zu verbessern.
Beim herkömmlichen Zoomen werden Interpolationstechniken verwendet, um die vergrößerten Bereiche einzufärben.
Lightroom verwendet jedoch Computer Vision, um Objekte in Bildern zu erkennen und ihre Funktionen beim Vergrößern zu schärfen.
Ein Bereich, in dem dank der Fortschritte in der Bildverarbeitung bemerkenswerte Fortschritte erzielt wurden, ist die Gesichtserkennung.
Apple verwendet Gesichtserkennungsalgorithmen, um iPhones zu entsperren.
Facebook verwendet die Gesichtserkennung, um Benutzer in Bildern zu erkennen, die Sie online veröffentlichen (obwohl nicht jeder ein Fan ist).
In China bieten viele Einzelhändler mittlerweile Gesichtserkennungstechnologien an, die ihre Kunden von der Notwendigkeit entlasten, in die Tasche zu greifen.
Fortschritte bei der Gesichtserkennung haben jedoch auch bei Befürwortern von Datenschutz und Rechten zu Besorgnis geführt, insbesondere da Regierungsbehörden in verschiedenen Ländern sie zur Überwachung verwenden.
Die Moderation von Inhalten ist eine weitere wichtige Anwendung für Computer Vision.
Unternehmen wie Facebook müssen täglich Milliarden von Posts überprüfen und Bilder und Videos entfernen, die Gewalt, Extremismus oder Pornografie enthalten.
Die meisten Social-Media-Netzwerke verwenden Deep-Learning-Algorithmen, um Beiträge zu analysieren und diejenigen zu kennzeichnen, die gesperrte Inhalte enthalten.
Empfohlen von unseren Redakteuren
Computer Vision wird immer mehr zu einem unverzichtbaren Werkzeug in der Medizin.
Deep-Learning-Algorithmen zeigen eine beeindruckende Genauigkeit bei der Analyse medizinischer Bilder.
Krankenhäuser und Universitäten verwenden Computer Vision, um verschiedene Krebsarten durch Untersuchung von Röntgen- und MRT-Scans vorherzusagen.
Selbstfahrende Autos sind auch stark auf Computer Vision angewiesen, um ihre Umgebung zu verstehen.
Deep-Learning-Algorithmen analysieren Video-Feeds von am Fahrzeug installierten Kameras und erkennen Personen, Autos, Straßen und andere Objekte, um das Auto bei der Navigation in seiner Umgebung zu unterstützen.
Die Grenzen des Computer Vision
Aktuelle Computer-Vision-Systeme leisten gute Arbeit bei der Klassifizierung von Bildern und der Lokalisierung von Objekten in Fotos, wenn sie an genügend Beispielen geschult sind.
Im Kern stimmen die Deep-Learning-Algorithmen, die Computer-Vision-Anwendungen unterstützen, mit Pixelmustern überein.
Sie haben kein Verständnis dafür, was in den Bildern vor sich geht.
Das Verständnis der Beziehungen zwischen Personen und Objekten in visuellen Daten erfordert gesunden Menschenverstand und Hintergrundwissen.
Aus diesem Grund können die von Social-Media-Netzwerken verwendeten Computer-Vision-Algorithmen Nacktinhalte erkennen, haben jedoch häufig Schwierigkeiten, den Unterschied zwischen sicherer Nacktheit (Stillen oder Kunst der Renaissance) und verbotenen Inhalten wie Pornografie zu erkennen.
Ebenso ist es für diese Algorithmen schwierig, den Unterschied zwischen extremistischer Propaganda und einer Dokumentation über extremistische Gruppen zu erkennen.
Menschen können ihr umfassendes Wissen über die Welt nutzen, um die Lücken zu füllen, wenn sie sich einer Situation gegenübersehen, die sie zuvor noch nicht gesehen haben.
Im Gegensatz zu Menschen müssen Computer-Vision-Algorithmen gründlich über die Arten von Objekten unterrichtet werden, die sie erkennen müssen.
Sobald ihre Umgebung Dinge enthält, die von ihren Trainingsbeispielen abweichen, beginnen sie irrational zu handeln, z.
B.
wenn sie an ungeraden Orten geparkte Einsatzfahrzeuge nicht erkennen.
Derzeit besteht die einzige Lösung zur Lösung dieser Probleme darin, KI-Algorithmen an immer mehr Beispielen zu trainieren, in der Hoffnung, dass zusätzliche Daten jede Situation abdecken, mit der die KI konfrontiert sein wird.
Aber wie die Erfahrung zeigt, wird es ohne Situationsbewusstsein immer Eckfälle geben - seltene Situationen, die den KI-Algorithmus verwirren.
Viele Experten glauben, dass wir nur dann echte Computer-Vision erreichen können, wenn wir künstliche allgemeine Intelligenz schaffen, KI, die Probleme auf die gleiche Weise wie Menschen lösen kann.
Wie die Informatikerin und KI-Forscherin Melanie Mitchell in ihrem Buch sagt Künstliche Intelligenz: Ein Leitfaden für das Denken des Menschen: "Es scheint, dass visuelle Intelligenz nicht leicht vom Rest der Intelligenz zu trennen ist, insbesondere von Allgemeinwissen, Abstraktion und Sprache.
Außerdem könnte es sein, dass das Wissen, das für menschenähnliche visuelle Intelligenz benötigt wird, nicht aus Millionen von Bildern gelernt werden kann aus dem Internet heruntergeladen, muss aber in der realen Welt auf irgendeine Weise erlebt werden.
"
