News Schnelle NPU: Deutlich mehr Generative AI auf Smartphones erwartet

[Krik]

@Kuristina
Ich glaube nicht, dass das so gut funktionieren wird. Gerade in den asiatischen Sprachen werden viele Wörter einfach weggelassen, wenn der Kontext das hergibt. Das heißt, wenn man den Kontext nicht kennt, ist man hoffnungslos aufgeschmissen.
Dazu kommen Homonyme, die dort teils deutlich häufiger auftreten als bei uns.

Die KI wird helfen, aber sie wird auch häufig grandios scheitern.

 

[ascer]

Ich glaube nicht, dass das so gut funktionieren wird. Gerade in den asiatischen Sprachen werden viele Wörter einfach weggelassen, wenn der Kontext das hergibt. Das heißt, wenn man den Kontext nicht kennt, ist man hoffnungslos aufgeschmissen.

Da glaubst du falsch.

Bereits in 2018 (z.B. Achieving Human Parity on Automatic Chinese to English News Translation) konnte auf Übersetzung trainierte KI Newsartikel von Mandarin auf Englisch so gut wie ausgebildete Übersetzer übersetzen. Mit den großen LLMs aus 2023/24 gelingt KI selbst die adäquate Übersetzung etwa literarischer Werke wie Shakespeare in zeitgenössische Artikulation aus China (selbst gesehen auf einer Konferenz in China im November'23). Auch Kontext einzubeziehen fällt einer KI bedeutend einfacher als Menschen und dieses Niveau ist längst erreicht, höchstens das Vorhandensein von Kontext ist - je nach Anwendung - noch nicht immer gegeben, etwa wenn zum Verständnis Informationen wichtig sind, die du zuvor ausschließlich analog ausgetauscht hast und die in keiner Form digitalisiert wurden oder abgerufen werden können.

 

[FTPFreezer]

Es ist doch sehr schleierhaft, wie man eine der wichtigsten Technologien des 21. Jahrhunderts derart unterschätzen kann.

Von der Optimierung existierender use-cases, etwa Navigation (anstatt manuell nach Dingen suchen zu müssen einfach "nächste Eisdiele mit Meerblick" und Route, Vorlieben, aktuelle Öffnungszeiten, ... werden automatisch beachtet), über die Einführung in KI z.B. in Lern-Apps für seinen eigenen, persönlichen Experten in der Tasche bis hin zu gänzlich neuen Entwicklungen, z.B. Echtzeit-Gefahrenanalyse bei Unfällen, auf die Situation abgestimmte medizinische Hilfestellungen...da gibt es so enorm viel.

Vermutlich wird es deswegen unterschätzt, weil vorallem mit irgendwelchen "magic erasern" oder irgendwelcher "Emoji-Avatare" geworben wird.

Wobei auch existierende Anwendungen noch deutlich besser integriert werden müssen, live transcribe mal als Beispiel. Guter Ansatz, aber schlechte Umsetzung.

 

[Krik]

@ascer
Bei dem Paper hat man sich nur schriftliche Textübersetzungen angeschaut und dann auch nur einzelne Sätze, und die auch noch gut gefiltert, damit das System den Input überhaupt versteht.

Spoiler

sentence pair = Der gleiche Satz auf Englisch und Chinesisch.

Seite 12 - 28 % des Inputs wurde ausgefiltert.

We use all of the available parallel data for the WMT17 Chinese-English translation task. This
consists of about 332K sentence pairs from the News Commentary corpus, 15.8M sentence pairs
from the UN Parallel Corpus, and 9M sentence pairs from the CWMT Corpus. We further filter
the bilingual corpus according to the following criteria:
• Both the source and target sentences should contain at least 3 words and at most 70 words.
• Pairs where (source length < 1.3∗target length or target length < 1.3∗source length) are
removed.
• Sentences with illegal characters (such as URLs, characters of other languages) are removed.
• Chinese sentences without any Chinese characters are removed.
• Duplicated sentence pairs are removed.
11
After filtration, we are left with 18M bilingual sentence pairs.

Seite 13 - Bei einem anderen Input wurden mindestens 10 % ausgefiltert.

First we apply word alignment heuristics to filter very noisy data. This filters out around 10%
of the data. Then we apply Cross-Entropy data selection [28] and [2] to order the sentences based
on their relevance to the CWMT part of the WMT data. We then select a specific number of
sentences pairs by rank.

Hier geht es aber um Gesprochenes, was deutlich schwieriger. Alleine die Silbenerkennung im Chinesischen ist einer Herausforderung, da die sich teilweise extrem ähneln. Wenn da mal einer nuschelt oder im Dialekt spricht, versteht die Maschine nur noch Bahnhof.

 

[overZero]

30 TOPS? So wird das nichts mit dem Copilot+-Smartphone
/s

Zum Vergleich: eine RTX 3090 schafft 285 TOPS, eine 4090 661 TOPS mit INT8. Und diese Karten sind schon gut ausgelastet mit LLMs oder Stable Diffusion. Von den Unterschieden in der Speicherbandbreite ganz zu schweigen. Mal sehen, ob "Generative AI" mit zweistelligen TOPS für mehr als einfache Kamerafilter taugen. Noch habe ich meine Zweifel...

 

[Botcruscher]

Dafür gab es mal die Klaut. Für den Rest des Hype fehlen komplett nützliche Anwendungen. Immerhin reicht die Leistung für Katzenbilder aber mehr auch nicht.

 

[Randnotiz]

Es ist aber schon klar, dass der ganze Sinn einer NPU ist, einen spezialisierten Chip zu haben, der Int8, B(Float)8/16 und dergleichen (je nach Hersteller) so effizient wie möglich berechnet? Habt ihr bei H264/265 oder AV1 Hardware-Decodern auch direkt davon fabuliert, wie sehr das die Akkulaufzeit drücken wird? Und man deshalb auf Smartphones lieber bei 240p-Videos bleiben sollte?

Dessen bin ich mir durchaus bewusst und ich habe auch schon zu anderen Artikeln wo alle über NPUs gespottet haben, gemeint, dass ich sehr gespannt über die Vorzüge bin und wie es Berechnungen vereinfacht, den Stromverbrauch speziell hier senkt, wobei ich nach wie vor den kritisiere, dass Microsoft hauptsächlich alle an ihre Azure-Cloud binden will.

Zu einem vergleichbaren Ergebnis kommt auch der Mensch aus diesem Video.
A.I. ist schon eine ganze Weile da, doch marketing technisch wird die Kuh eben durchs Dorf getrieben, weil die Geldgeber so leichter Kundschaft ködern können:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[usernamehere]

Da wird sich noch einiges tun, in nächster Zeit. Bin sehr gespannt darauf, was sich die Firmen/Entwickler damit ausdenken.

 

[Zornica]

Dafür gab es mal die Klaut. Für den Rest des Hype fehlen komplett nützliche Anwendungen. Immerhin reicht die Leistung für Katzenbilder aber mehr auch nicht.

ne... die klaut wurde den Nutzern bereits vor Jahren als absolute Notwendigkeit verkauft. Das geht nur einmal, jetzt ist es eben absolut notwendig dass man die Klaut direkt am Gerät verkauft.

 

[Nahkampfschaf]

Außer in Echtzeit Sprachen zu übersetzen, fällt mir auch nicht ein, wofür das wichtig wäre.

Als blinder das Handy hochhalten und dein Handy bitten dir bescheid zu geben, wenn sich ein Taxi nähert, oder irgendetwas anderes, was blinden helfen könnte. Ich wusste letzte Nacht nicht mehr, wie ich streamelements counter in einem Twitch Channel den ich moderiere editieren kann. Statt mich durch Dokumentionen zu lotsen, hab ich schnell Copilot gefragt und hatte in 1 Sek den passenden Command + Anwendungsbeispiele. In vielen Fällen ersetzt es für mich die Google Suche.

Ich denke vieles wird einfach nur einfacher und effizienter, ausser natürlich spezielle Fälle, die nicht für jeden relevant sein werden.

 

[Kadett_Pirx]

eine Lösung die nach wie vor ein Problem sucht, bald auch in ihrer Hand!

wobei "Lösung" auch fraglich ist

....
A.I. ist schon eine ganze Weile da, doch marketing technisch wird die Kuh eben durchs Dorf getrieben, weil die Geldgeber so leichter Kundschaft ködern können:
...

eigentlich wird nur das Foto eines Rinderpärchens im Dorf penetrant herumgezeigt

 

[Mondgesang]

Wobei die Echtzeitübersetzung eine Nischenanwendung ist. Wie oft braucht der Durchschnittsbürger das im Jahr? Höchstens im Auslandsurlaub mal, aber dort ist es dann sehr nützlich.

Und seien wir ehrlich, da wo der Durchschnittsdeutsche seinen Urlaub macht, spricht jeder deutsch. So wie ich auch von russischen Bekannten mitgeteilt bekommen habe, dass dort, wo der Durschnittsrusse seinen Urlaub macht, alles und jeder russisch spricht.

Die Urlaubsorte passen sich genauso ihrem Standard-Klientel an. Und im Zweifelsfalle gibts immer noch Englisch.

Das jetzt als Grund für KI ab Werk im Smartphone zu nennen ist, wie den Kauf eines Mercedes GLE damit zu rechtfertigen, dass man schonmal rückwärts in den unbepflasterten Garten einfahren muss, um den Grünabfall aufzuladen.

 

[FTPFreezer]

Und seien wir ehrlich, da wo der Durchschnittsdeutsche seinen Urlaub macht, spricht jeder deutsch.

Der Durchschnittsdeutsche ist schon mit den Funktionen aktueller Smartphones völlig überfordert. Der Unkenntnisstand ist ja da allgegenwärtig. Selbst die Existenz der Assistenten wird ja kaum realisiert geschweige denn deren Funktionen genutzt.

Vielleicht hilft da KI aber tatsächlich, dass man ab sofort nur reinspricht, was man konkret tun will, und das Telefon die passenden Funktionen heraussucht.

 

[NoNameNoHonor]

Wir brauchen unbedingt mehr KI, nicht nur im Smartphone.
Denn die natürliche Intelligenz (gemessen üblicherweise mit dem IQ) sinkt seit vielen Jahren, in Deutschland seit 2010. Siehe auch https://deutsche-wirtschafts-nachri...telligenz-die-folgen-koennten-dramatisch-sein ...

 

[daknoll]

@NoNameNoHonor Ob das wohl mit immer weniger selber denken müssen zu tun hat?