Owli-AI Assist

Für wen ist Owli-AI Assist gedacht?

Owli-AI Assist richtet sich an blinde und stark sehbehinderte Menschen, die ihre Umgebung, Texte, Displays oder Gegenstände mithilfe künstlicher Intelligenz besser verstehen möchten. Die App ersetzt keine persönliche Assistenz und keine eigene Prüfung in sicherheitskritischen Situationen, kann aber in vielen Alltagssituationen zusätzliche Informationen liefern.

Assist ist auf einfache Bedienung, große Bedienelemente, Spracheingabe, Sprachausgabe und TalkBack-Nutzung ausgelegt. Die App ist besonders hilfreich, wenn du schnell wissen möchtest, was vor dir ist, was auf einem Schild steht oder welche Details in einer Szene erkennbar sind.

Was macht Assist konkret?

Owli-AI Assist funktioniert als sehendes Assistenzsystem:

1. Die Kamera zeigt eine Live-Vorschau.
2. Du löst mit Neue Szene bewusst eine Aufnahme aus.
3. Assist sendet das Bild an den gewählten KI-Transport.
4. Die Antwort wird als Text angezeigt und kann per Sprachausgabe vorgelesen werden.
5. Du kannst direkt Rückfragen stellen oder zusätzliche Bilder hinzufügen.

Typische Fragen sind:

• Was befindet sich vor mir?
• Lies mir den Text auf dem Schild vor.
• Welche Produkte oder Gegenstände erkennst du?
• Was steht auf dem Display?
• Gibt es Hindernisse, Stufen, Fahrzeuge oder andere auffällige Bereiche?

Aktuelle KI-Profile

Assist arbeitet nicht mehr nur mit einem einzelnen Prompt. Die App nutzt auswählbare VLM-Profile, die für unterschiedliche Aufgaben optimiert sind:

• Schnelle Szenenübersicht: kurze, vorlesefreundliche Beschreibung mit Orientierung und räumlicher Anordnung.
• Detaillierte Szenenbeschreibung: mehr Details, Orientierungspunkte und strukturierte Hinweise.
• Dokument/OCR: texttreues Vorlesen von Schildern, Dokumenten, Etiketten, Tabellen oder Displays.
• Kurzstatus/Profile für spezielle Situationen: z. B. kurze Statusmeldungen mit Auto-Scan-Unterstützung.

Je nach Profil werden Bildauflösung, Komprimierung, Modell, Token-Limits, Streaming und Antwortstil passend gewählt. Der aktuelle Standard ist auf eine kurze, gut vorlesbare Szenenbeschreibung ausgelegt.

Rückfragen und Zusatzbilder

Nach einer aufgenommenen Szene kannst du Folgefragen stellen, ohne eine neue Szene starten zu müssen. Assist behält das ursprüngliche Bild als Kontext, sodass Fragen wie „Was steht links auf dem Schild?“ oder „Lies den unteren Abschnitt vor“ möglich sind.

Bei Bedarf kannst du weitere Bilder anhängen. Das ist nützlich, wenn du einen anderen Blickwinkel, eine Nahaufnahme oder zusätzliche Textstellen analysieren lassen möchtest.

Auto-Scan

Einige Profile können Auto-Scan unterstützen. Dabei analysiert Assist in regelmäßigen Abständen neue Kamerabilder und gibt kurze Aktualisierungen aus. Das kann für wiederkehrende Szenenchecks oder kurze Statusmeldungen hilfreich sein.

Auto-Scan ersetzt keine sichere Orientierungshilfe und keine eigene Prüfung der Umgebung. Die Funktion ist als zusätzliche, vorsichtige Informationsquelle zu verstehen.

Spracheingabe und Sprachausgabe

Fragen können per Spracheingabe gestellt werden. Ein kurzes Tippen kann die erkannte Frage direkt senden; langes Drücken erlaubt diktieren und anschließend bearbeiten. Antworten können per Streaming-TTS früh vorgelesen werden, auch während die vollständige Antwort noch eintrifft.

Du kannst die letzte Antwort erneut vorlesen lassen oder die Sprachausgabe stoppen. Das ist besonders hilfreich, wenn du TalkBack nutzt oder in einer lauten Umgebung einzelne Abschnitte wiederholen möchtest.

KI-Transport: Backend, OpenRouter BYOK und lokales Gemma 4

Im normalen Produktionsmodus verwendet Assist das Owli-Backend. Das ist der empfohlene Standard und benötigt keine eigene Einrichtung.

Für fortgeschrittene Nutzerinnen und Nutzer gibt es erweiterte KI-Einstellungen:

• Direct OpenRouter BYOK: Du kannst einen eigenen OpenRouter-Key speichern, per QR-Code importieren und direkt von deinem Gerät verwenden.
• OpenRouter-Key-Infos: Wenn ein direkter OpenRouter-Key aktiv ist, kann die App Informationen wie Limit, Nutzung oder Ablaufdatum anzeigen.
• Lokales Gemma 4: Auf geeigneten Geräten kann ein lokales Modell heruntergeladen und als Transport genutzt werden. Die App prüft Geräteeignung, Speicherstatus und Download-Zustand.

Diese Expertenoptionen sind bewusst hinter erweiterten Einstellungen verborgen. Für die meisten Nutzer bleibt das Owli-Backend die passende Wahl.

Barrierearme Bedienung

Assist ist auf TalkBack und einfache Smartphone-Bedienung ausgerichtet:

• große zentrale Bedienelemente für Kamera, Mikrofon und Wiedergabe
• Reset statt ungewollter neuer Aufnahme bei aktiver Szene
• Fokusführung nach Szenenaufnahme und Spracheingabe
• Profilwechsel nur, wenn keine Anfrage läuft und keine aktive Szene gesperrt ist
• klare Hinweise, wenn Aufnahme, Spracherkennung oder Anfrage gerade laufen
• Querformat- und Hochformat-Layout mit angepasster Steuerung

KI-Antwort melden

Wenn eine Antwort problematisch ist, kannst du sie direkt in der App melden. Die Meldung enthält die Antwort, eine Kategorie, optional deinen Kommentar und begrenzte technische Metadaten. Bilddaten werden dabei nicht mitgesendet.

Datenschutz & Verarbeitung

Die Live-Kameravorschau läuft lokal auf dem Gerät. Eine Übertragung erfolgt erst, wenn du aktiv eine KI-Funktion nutzt, zum Beispiel über Neue Szene, eine Folgefrage oder ein Zusatzbild.

Im Standardbetrieb verarbeitet Assist Anfragen über das Owli-Backend. Bei Folgefragen wird das ursprüngliche Szenenbild erneut übertragen, damit die KI mit Bildkontext antworten kann.

Im optionalen Direct-OpenRouter-BYOK-Modus sendet die App Anfragen mit deinem gespeicherten eigenen OpenRouter-Key direkt an OpenRouter. Je nach Funktion können dabei Szenenbild, Fragetext und zusätzliche Bildanhänge übertragen werden.

Im optionalen lokalen Gemma-4-Modus läuft die Inferenz auf dem Gerät, sofern das Modell bereit ist und das Gerät geeignet ist. Trotzdem können andere Funktionen der App, z. B. Hilfeseiten oder Feedback, weiterhin Internetzugriff nutzen.

Wenn du die Funktion KI-Antwort melden nutzt, werden Meldedaten ohne Screenshots oder Bilddateien an das Owli-Backend übermittelt und derzeit 30 Tage für die Prüfung gespeichert.

Die vollständige Fassung findest du in der Datenschutz-Erklärung für Owli-AI Assist.