gyoyeonahn/MuseEye

Muse:Eye

On-device Multimodal AI + XR Museum Docent for Android

Muse:Eye는 카메라 기반 작품 인식(MobileCLIP),
온디바이스 LLM(Gemma-3N),
XR 인터랙션(Unity MR)
을 결합한 하이브리드 AI 도슨트 시스템입니다.

오프라인 환경에서도 빠른 이미지 검색,
메타데이터 기반 RAG,
성인/어린이/전문가 모드 설명 제공이 가능합니다.

---

✨ Features

1) ⚡ On-device AI (No Internet Required)

• MobileCLIP (TFLite) 이미지 임베딩
• 작품 유사도 검색 (FAISS → custom .bin index)
• Gemma-3N 온디바이스 LLM

2) 🖼 Artwork Recognition

• 카메라 인식 → 즉시 embedding 추출
• RAG 기반 작품·작가 설명 생성

3) 👶🧑‍🦳 Three Docent Modes

• 어린이 모드
• 성인 모드
• 전문가 모드

4) 🥽 XR Integrated

• Unity + Android Studio 통합
• MR 모드에서 3D UI 및 음성 안내 제공

---

🏗 System Architecture

Muse:Eye는 두 가지 실행 모드를 지원합니다:

• Mobile Mode (On-device AI) — 완전 오프라인
• XR/MR Mode (Cloud Multimodal AI) — Unity 기반 MR + Cloud API

---

📱 A. Mobile Mode (On-device AI)

Mobile App (Android)
│
├── Camera Input
│
├── MobileCLIP (TFLite)
│     └─ on-device embedding (512-d)
│
├── Embedding Index (.bin)
│     └─ cosine similarity search (offline)
│
├── Local Metadata RAG
│     └─ artwork metadata lookup
│
├── Gemma-3N On-device LLM
│     └─ adult / child / expert explanation
│
└── Android TTS

---

🥽 B. XR/MR Mode (Cloud Multimodal AI)

Unity XR App (MR View)
│
├── MR Camera (RenderTexture)
│
├── JNI Bridge → Android
│     └─ frame bytes 전달
│
├── Cloud Multimodal API (Gemini)
│     ├─ artwork analysis
│     ├─ style / meaning extraction
│     └─ multimodal reasoning
│
├── Cloud PromptManager
│     ├─ 어린이 모드
│     ├─ 성인 모드
│     └─ 전문가 모드
│
└── Unity 3D UI + Android TTS
      ├─ floating info panel
      ├── 3D guide elements
      └── audio output