Künstliche Intelligenz

Der Abstrakt kurz durch DeepL gejagt:

Die letzten drei Jahre der Arbeit im Bereich NLP waren geprägt von der Entwicklung und dem Einsatz immer größerer Sprachmodelle, insbesondere für die englische Sprache. BERT, seine Varianten, GPT-2/3 und andere, zuletzt Switch-C, haben die Grenzen des Möglichen sowohl durch architektonische Innovationen als auch durch ihre schiere Größe erweitert. Mithilfe dieser vortrainierten Modelle und der Methodik ihrer Feinabstimmung für bestimmte Aufgaben haben Forscher den Stand der Technik bei einer Vielzahl von Aufgaben erweitert, gemessen an Ranglisten zu bestimmten Benchmarks für Englisch.
In diesem Artikel treten wir einen Schritt zurück und fragen:
Wie groß ist zu groß?
Welche möglichen Risiken sind mit dieser Technologie verbunden und welche Wege gibt es, um diese Risiken zu mindern? Wir geben Empfehlungen, darunter die Abwägung der ökologischen und finanziellen Kosten, die Investition von Ressourcen in die Kuratierung und sorgfältige Dokumentation von Datensätzen, anstatt alles aus dem Internet zu übernehmen, die Durchführung von Vorentwicklungsübungen, um zu bewerten, wie der geplante Ansatz zu den Forschungs- und Entwicklungszielen passt und die Werte der Stakeholder unterstützt, sowie die Förderung von Forschungsrichtungen, die über immer größere Sprachmodelle hinausgehen.