FPGA Machbarkeitsstudie, Neue NN-Generation

diogeneo

Cadet 3rd Year
Registriert
Nov. 2024
Beiträge
44
Hallo,
als Erstes die Grundidee:
FPGA overclocken und die logischen "Fehler", die dadurch entstehen ausnuetzen.

Annahme:
Durch Signallaufzeiten und sonstige Effekte, wie Traegheiten, Kapazitaeten, etc. wird bei einem overclockdem FPGA die Logik beeinflusst.

Best Case:
1. Beeinflussung immer sehr aehnlich bis gleich, also bei gleichen Logiksignalen.
2. Abhaenigkeit von Logiksignalen.

Wenn das zutrifft, dann kann es ans Werk gehen.

Ich suche FPGA-Nerds, die mir dabei helfen koennen. Kann nur remote beitragen und auch nur Wissen. Finanziell noch nix.

Zum "Versuchsaufbau":
Moeglichst guenstiges FPGA-Board. Wenn moeglich AMD Xili... A7 oder aehnliches.
(Weil kaputt moeglich)
Habe zwar Eins, komme aber gerade nicht ran. (DIGILENT)
Deshalb, auch das Deine erste Aufgabe, wenn Du nicht schon Eins hast, mit dem Du bereit bist zu probieren.

Worst case:
1. Temperaturentwicklung zu gross und nicht kontrollierbar. (nicht mal mit Wasserkuehlung)
2. Fehler zu zufaellig

Aber sind wir mal optimistisch. In den meisten Datenblaetten steht ja, dass man bis zu 50% overclocken kann, ohne das es grossartig stoert.

Vorgehen allgemein:
1. A0-Muster anlegen.
2. 50% mit "und" verknuepfen, Rest "oder".
3. Taktrate hochziehen, bis erste Fehler aufrteten. Temperatur immer im Auge haben.
4. Fehler auswerten.

So und jetzt zu tieferen Idee:
Angenommen, alles geht glatt, es gibt Taktraten, wo bei Und-Gliedern je nach Anzahl von high-Signalen auch ein high kommt.
Also falsch positiv.
Es geht aber auch, dass bei Oder-Glieder je nach Anzahl von high-Singalen ein low-Signal kommt.
Also falsch negativ.
Am Besten waeren natuerlich Beide gleichzeitig und gleich bei gleichen Bedingungen.
Damit haetten wir dann die Struktur, mit der wir arbeiten koennen.
Unser "Rohgehirn".

Wenn wir bis hier her gekommen sind, haben wir schon was zu feiern.
Dann geht es aber erst richtig los.

1. Ziel:
Internen Taktbereich am Besten durch Rueckkopplung festlegen. Das Gelernte hierbei brauchen wir spaeter sehr dringend.

2. Ziel:
Audio-ADC Eingangsbereich implementieren. 1Bit FFT-Spektrum-Aufteilung. Beispiel 5-10 Hz, 10-20 Hz, 20-30 Hz, ... , 20-20,01 kHz
Aufteilung laut Eingangskapazitaeten und Interessenbereich. Erst ein Kanal, dann 2.

3. Ziel:
Audio-DAC Bereich.
Signalgeneration ruecktransformation von Bit-Muster von Ziel 2.

4. Ziel:
Dynamik-Speicherbereich implementieren.
Informationsspeicherung durch dynamische Rueckkopplung. Praktisch Ziel 1 Erweiterung.

5. Ziel:
Kontrollbereich implementieren.
Zur "Ueberwachung" aller existierenden Bereiche

6. Ziel:
Das Spannendste! Bereiche verschalten und "Lernmethoden" und Optimierungen entwickeln.


Wenn wir das geschafft haben, dann haben wir die Basis fuer eine echte neue Generation.
Low-consum, high-effizient, super-schnelle, ueberpruefbare, leicht lernbare neuronale Netzwerke.

Absichtlich keine Zeitvorgaben. Ich hasse Zeitdruck!
Wenn es weiter geht, dann geht es weiter. Wenn nicht, dann halt nicht. Nur Langeweile darf keine aufkommen.
 
Zuletzt bearbeitet:
diogeneo schrieb:
Wenn wir das geschafft haben, dann haben wir die Basis fuer eine echte neue Generation.
Low-consum, high-effizient, super-schnelle, ueberpruefbare, leicht lernbare neuronale Netzwerke.

Mit anderen Worten: "Bye bye openIA, MetaIA, und und und"
Ahja? Ich weiß nicht so recht wie ernst ich deinen Post nehmen soll.
 
@gaym0r Wie erst wurde

Rudolf Diesel

genommen?
Ergänzung ()

Ich habe mein erstes NN 1997 programmiert.
Warum?
Da war noch nix mit KI-Hype.
Wollte nur ein System schaffen, das "denkt".
Hat zwar noch nix "Nuetzliches" gedacht, aber sich selber erhalten.

Warum dieses Projekt nicht mit Text- oder Bildeingabe?
Das System soll spaeter Videoeingang haben.
Vorerst aber nur "hoeren" koennen.
Aber erst mal nur "blind" sein.
Man muss ja nicht gleich mit so was kompliziertem anfangen. Wenn es erst mal geht, dann kann man ja immer weiter erweitern.

Wenn man sich "unterhalten" kann, waere das fuer mich schon mal als Erstes genial.

Spaeter kann man dann an die Robotik gehen.
Aber jetzt schauen wir erst mal :)
 
Zuletzt bearbeitet:
Schade, dass es kein Interesse gibt.
Gibt es hier wirklich keine FPGA "Liebhaber"?
 
Diese Liebhaber wirst du am ehesten an Max-Planck-, Fraunhofer-Instituten oder Universitäten finden, die sich mit der Erforschung/Entwicklung von neuronalen Netzen aktiv beschäftigen.
 
  • Gefällt mir
Reaktionen: ALIEN_I_AM
Mir wuerde ja auch schon ein Billigboard fuer Tests reichen.

Also hat Jemand Lust, da einzusteigen?
 
3s Google-Suche:
https://www.reddit.com/r/FPGA/comments/18m05xu/why_are_fpgas_not_dominating_gpus_for_neural/

Und wenn du ernsthaft glaubst, in diesem Markt mit hunderten Milliarden Dollar Umsatzpotential hätte da noch keine drüber nachgedacht, bist du zu naiv.

Gleiche Googlesuche, 3 Treffer tiefer: https://medium.com/syncedreview/nvi...right-answer-for-accelerating-ai-83c810969edd

Und mit Intel und AMD besitzen 2 größere Player im AI-Hardware Bereich auch gleich FPGA Hersteller: AMD hat Xilinx vor ein paar Jahren gekauft, und Intel Altera.

Du wirst hier in deinem Keller nicht den dicken Durchbruch erreichen, den bisher die klügsten Köpfe auf dem Planeten in großen Teams nicht gefunden haben. Keiner von uns wird da die Industrie auf den Kopf stellen.
 
  • Gefällt mir
Reaktionen: ALIEN_I_AM und abcddcba
Autokiller677 schrieb:
Keiner von uns wird da die Industrie auf den Kopf stellen.
Ich moechte auch nicht diesen Kopfstand.
Nur eine Studie, weil mMn. das sehr viel Energie sparen koennte.
Und zwar mit existierender Technologie.

Der erste Link geht bei mir nicht und der zweite hat irgendwie ein ganz anderes Thema.

Nur mal mit anderen Worten, worauf ich hinaus wollte:
NN brauchen sehr viel Rechenleitung weil seriell alles abgearbeitet werden muss.
Da waere die Parallelverarbeitung bei FPGAs sehr vorteilhaft.
Die durch das Overclocking entstehenden "Fehler" koennten hilfreich sein, "naeher" an biologische NN ran zu kommen.

Aber wo kein Interesse, da auch kein Fortschritt.
Ergänzung ()

Autokiller677 schrieb:
Und wenn du ernsthaft glaubst, in diesem Markt mit hunderten Milliarden Dollar Umsatzpotential hätte da noch keine drüber nachgedacht, bist du zu naiv.
Vielleicht bin ich ja wirklich sehr naiv, aber irgendwie habe ich noch keine Info darueber, dass Jemand in diese Richtung gedacht haette.
Und wenn wirklich Jemand das gemacht haette, dann muesste es ja Argumente geben, warum es nicht erfolgreich war.
Also wenn da Jemand etwas weiss, waere ich sehr dankbar fuer Infos.
 
Wie gesagt, wenige Sekunden Google finden Infos dazu. Links hab ich gepostet, die funktionieren auch.

Mal davon ab wird halt nicht jeder Gedanke, den mal jemand hat veröffentlicht.
Alle großen AI Firmen haben massiv Probleme durch den Stromverbrauch und gehen gerade bekloppte Projekte an wie Atomkraftwerke bauen. Die haben alle Richtungen angeschaut.
 
  • Gefällt mir
Reaktionen: abcddcba
Autokiller677 schrieb:
Alle großen AI Firmen haben massiv Probleme durch den Stromverbrauch
Wenn das eine unloesbare Schwierigkeit waere, dann wuerde unser NN nicht mit 20 Watt auskommen.
 
Zurück
Oben