Apple today announced "Audio Intelligence," a new suite of Apple Intelligence-powered features for the Apple Watch Series 12 and Apple Watch Ultra 4 that use the built-in microphone to help users catch missed moments in conversation and stay aware of important sounds.


The Apple Watch's Audio Intelligence comprises four features:

• Siri Recap: Uses ambient listening to generate high-level notes from conversations, such as takeaways from a team meeting or a parent-teacher conference, producing an Apple Intelligence-generated title, summary, and key points reviewable in the Siri app.


• Live Rewind: Lets users "go back in time for 15 seconds," transcribing and displaying what was just said in a conversation with a double press of the Digital Crown.


• Shazam: Automatically identifies music playing nearby and surfaces the song title and artist on the Music Recognition widget in the Smart Stack.


• Sound Recognition: Brings sound alerts to Apple Watch for users who are deaf or hard of hearing, listening for sirens, alarms, doorbells, a baby crying, and more, even when their iPhone isn't nearby.

Apple emphasized that ‌Siri‌ Recap is opt-in and configurable, telling users they "control if and when ‌Siri‌ Recap takes notes." Users can set it to always listen or schedule it for specific contexts, such as only at work or never at night, and can toggle it on or off at any time from Control Center. Apple reiterated that none of the Audio Intelligence features create or store audio recordings, with raw audio processed in an isolated Secure Exclave on the S11 chip and deleted immediately after use.

Audio Intelligence and ‌Siri‌ AI both require an Apple Intelligence-enabled iPhone, with Live Rewind and ‌Siri‌ Recap limited to the iPhone 16 or later (excluding the iPhone 16e).

The features arrive in beta later this year, starting in English, with additional languages to follow, and will not initially be available in the EU.
This article, "Three All-New 'Audio Intelligence' Features Arrive With Apple Watch Series 12 and Ultra 4" first appeared on MacRumors.com

Discuss this article in our forums

Wispr Flow, Willow Voice oder „Dictation“ von Voicenotes: Sprache entwickelte sich quasi über Nacht zu einem neuen Eingabegerät für Computer – auf Augenhöhe mit Tastatur und Maus. Sie ist nicht neu, aber in puncto Latenz, kontextueller Einordnung sowie sprachlicher Bereinigung plötzlich mehr als ein Diktat.

GPT‑Live ist erschreckend gut; Apples „Advanced Dictation“ in der Beta von iOS 27 hält da noch nicht mit, liefert aber ausdrucksvolle Stimmen.

Noch existieren qualitative Unterschiede zwischen den verschiedenen Angeboten. Alle verbessern sich jedoch rasant, und es ist nur eine Frage der Zeit, bis integrierte Systemfeatures übernehmen und die dedizierten Apps verdrängen. Ich erwarte, dass Wispr Flow, Willow Voice und Co. eher früher als später keine eigenständigen Start-ups mehr bleiben. Basismodelle werden austauschbar; OS-Hersteller integrieren dieselbe Funktion ohne Kosten.

„KI-gestützte Sprachdiktate“ nannte ich die Funktion bislang. Zukünftig sprechen wir wahrscheinlich nur noch schlicht von „Sprache“ und müssen dafür keine separate Einstellung aktivieren. Wie absurd wäre es, Maus und Tastatur vor jeder Nutzung zu aktivieren!?

Was für Gibberish ich manchmal diktiere und trotzdem verstanden werde, ist sicherlich noch faszinierender, wenn man aus dem Zeitalter von Dragon NaturallySpeaking kommt. Ich merke jedoch, wie ich Eigennamen und explizite Schreibweisen von Begriffen inzwischen unbewusst voraussetze.

Transkription ist weitgehend ein gelöstes Problem – das habe ich intellektuell akzeptiert. Das Ganze jedoch in Echtzeit und bereinigt von jedem Stottern sowie allen Füllwörtern und Pausen zu bekommen, bleibt faszinierend. So wird nicht nur mitgeschrieben, sondern interpretiert.

Ich vermute, dass diese Eingabemethode noch nicht spektakulärer erscheint, weil sie a) noch von zu wenigen Menschen genutzt und b) lediglich als reine Niederschrift verstanden wird – obwohl gerade das Sprachverständnis der entscheidende Sprung nach vorn ist.

➝ YouTube