Audio-EreignisseBeta

Sono

Das Glas hören, nicht den Verkehr.

Audio-Ereignisse

Antennen für Ihr Mikrofon.

Sono erkennt Klangereignisse in einem Live-Stream: eine Tür, ein Bellen, ein Sturz, ein Name. Audio gelangt über die auditorischen Afferenzen des Konnektoms hinein; die Antwort ist ein Ereignis mit Zeitstempel.

Die Fliege hört mit den Antennen, abgestimmt auf Balzgesang. Sono behält den Pfad und trainiert ihn auf ein allgemeines Ereignisvokabular, streamend, mit 40 ms Latenz.

40 ms vom Klang zum Ereignis.

Sono labelt 50 Ereignisklassen mit 40 ms Latenz und 0,84 F1 auf ESC-50, auf einem Telefon, ohne dass das Audio das Gerät verlässt.

Zielwert Mit „Zielwert“ markierte Zahlen sind Entwicklungsziele für das erste Release, keine Messungen.

40 msZielwertLatenzStreaming, Klangbeginn bis Ereignis
0.84ZielwertF1ESC-50, 50 Klassen
So ist es gebaut

Gleiches Gehirn, eigene Verdrahtung.

Eingabe-Adapter belegen afferente Regionen, Ausgabe-Adapter lesen efferente. Co-Prozessoren speisen über den Embedding-Port ein.

3D-Ansicht braucht WebGPU oder WebGL2.
Engine
  • FlyCore v0.1.0
  • Gewichte v0.1.0-beta
Eingabe-Adapter
  • audio (antennae)
Ausgabe-Adapter
  • events (class, t, score)
Co-Prozessoren
  • keine
Python
import flycore

brain = flycore.load("flylabs/sono")      # engine + weights + adapters
for event in brain.stream(flycore.io.Microphone()):
    print(event.cls, event.t)
# "glass_break" 12.41
Anwendungsfälle

Das Glas hören, nicht den Verkehr.

Wohnung und Pflege

Stürze, Alarme und Hilferufe, lokal erkannt.

Wake-Words ohne Cloud

Ein Name oder ein Satz als Auslöser für ein sonst schlafendes Gerät.

Grenzen
  • Beta: nur englische Wake-Words.
  • Keine Spracherkennung; für Wörter mit Dictate kombinieren.