第一次學 Kotlin Koog AI 就上手 Day 12：讓 AI 聽懂聲音：音訊內容處理

class AudioTranscriber(private val client: OpenAILLMClient) {

    /**
     * 判斷路徑是否為 URL
     */
    private fun isURL(path: String): Boolean {
        return path.startsWith("http://") || path.startsWith("https://")
    }

    /**
     * 轉錄音訊檔案內容
     * @param audioPath 音訊檔案路徑或 URL
     * @return 轉錄的文字內容
     */
    suspend fun transcribeAudio(audioPath: String): String {
        val response = client.execute(
            prompt = prompt("multimodel") {
                user {
                    text("請轉錄這段音訊的內容")
                    text("請提供準確的逐字轉錄，保持自然的句子結構，不要總結內容，直接給我音訊的逐字稿")

                    // 這是 Koog 的核心語法：在 attachments 區塊中處理音訊
                    attachments {
                        if (isURL(audioPath)) {
                            audio(audioPath) // 網路 URL 直接使用
                        } else {
                            audio(Path(audioPath)) // 本地檔案路徑需使用 Path
                        }
                    }
                }
            },
            model = OpenAIModels.Audio.GPT4oMiniAudio
        )

        return response.joinToString("") { it.content }
    }
}

// 使用範例
suspend fun main() {

    val client = OpenAILLMClient(ApiKeyManager.openAIApiKey!!)
    val transcriber = AudioTranscriber(client)

    println("=== Koog 音訊處理範例 ===\n")

    try {
        // 範例 1：處理本地音訊檔案
        println("1. 本地音訊檔案轉錄")
        val localTranscription = transcriber.transcribeAudio("/Users/cash/Downloads/podcast.mp3")
        println("轉錄結果：$localTranscription\n")

        // 範例 2：處理網路音訊檔案（如果有的話）
        // val urlTranscription = transcriber.transcribeAudio("https://example.com/audio.mp3")

    } catch (e: Exception) {
        println("轉錄失敗：${e.message}")
    }
}

=== Koog 音訊處理範例 ===

1. 本地音訊檔案轉錄
轉錄結果：這段音訊的逐字稿是：

「哇，今天真的是一個相當超現實的時刻，就是真的是我真的也是從小看『神劍』的節目到大的。因為我今年四十六歲。然後我小時候，我大姑最喜歡的節目就是《我愛紅娘》。你把你的長輩也帶出來了（對吧），因為可能大姑都已經是比我還年輕喔，搞不好。對，對，對。然後那時候就是永遠都記得那句台詞，然後永遠都記得說欸，怎麼辦，就是配對到底會不會成功，然後都相當的緊張。所以你是看《我愛紅娘》對不對？《我愛紅娘》、《紅娘愛我，為你搭起有情橋梁》。這個真的是大家耳熟能詳的一句slogan。」

attachments {
    audio(Path(audioPath)) // 本地檔案使用 Path
    // 或
    audio(audioUrl)        // 網路 URL 直接使用
}

data class MeetingRecord(
    val transcription: String,
    val summary: String,
    val actionItems: List<String>
)

@Serializable
data class MeetingAnalysis(
    val summary: String,
    val actionItems: List<String> = emptyList()
)

class MeetingTranscriber(private val client: OpenAILLMClient) {

    /**
     * 處理會議錄音，生成完整的會議記錄
     */
    suspend fun processMeetingAudio(audioPath: String): MeetingRecord {
        // 第一步：轉錄音訊內容
        val transcription = transcribeWithSpeakers(audioPath)

        // 第二步：分析轉錄內容，生成摘要和待辦事項
        val analysis = analyzeMeetingContent(transcription)

        return analysis
    }

    /**
     * 轉錄音訊並識別說話者
     */
    private suspend fun transcribeWithSpeakers(audioPath: String): String {
        val response = client.execute(
            prompt = prompt("multimodel") {
                user {
                    text("""
                        請轉錄這段會議錄音的內容，並盡可能識別不同的說話者。
                        請使用以下格式：

                        [說話者A]: 說話內容
                        [說話者B]: 說話內容

                        如果無法區分說話者，可以使用 [說話者1]、[說話者2] 等標記。
                    """.trimIndent())

                    // 使用 attachments 區塊處理音訊
                    attachments {
                        if (isURL(audioPath)) {
                            audio(audioPath) // 網路 URL 直接使用
                        } else {
                            audio(Path(audioPath)) // 本地檔案路徑需使用 Path
                        }
                    }
                }
            },
            model = OpenAIModels.Audio.GPT4oMiniAudio
        )

        return response.joinToString { it.content }
    }

    /**
     * 判斷路徑是否為 URL
     */
    private fun isURL(path: String): Boolean {
        return path.startsWith("http://") || path.startsWith("https://")
    }

    /**
     * 分析會議內容，生成摘要和待辦事項
     */
    private suspend fun analyzeMeetingContent(transcription: String): MeetingRecord {
        val response = client.execute(
            prompt = prompt {
                user {
                    text("""
                        請分析以下會議轉錄內容
                        `$transcription`

                        請先幫我總結相關的「會議摘要」（3-5句話），和列出相關的「待辦事項」(如果有的話)
                        並且請使用以下的 JSON 格式回答
                        {
                            "summary": "會議摘要",
                            "actionItems": ["待辦事項1", "待辦事項2"]
                        }
                    """.trimIndent())
                }
            },
            model = OpenAIModels.CostOptimized.GPT4_1Mini
        )

        // 使用 kotlinx-serialization-json 解析 AI 回應
        val fullContent = response.joinToString("") { it.content }

        // 清理 Markdown 程式碼區塊標記
        val cleanedContent = fullContent
            .replace("```json", "")
            .replace("```", "")
            .trim()

        return try {
            val analysis = Json.decodeFromString<MeetingAnalysis>(cleanedContent)
            MeetingRecord(
                transcription = transcription,
                summary = analysis.summary,
                actionItems = analysis.actionItems
            )
        } catch (e: Exception) {
            // 如果 JSON 解析失敗，回退到預設值
            MeetingRecord(
                transcription = transcription,
                summary = "解析會議摘要時發生錯誤",
                actionItems = emptyList()
            )
        }
    }
}

suspend fun main() {
    val client = OpenAILLMClient(ApiKeyManager.openAIApiKey!!)
    val meetingTranscriber = MeetingTranscriber(client)

    println("=== 會議記錄自動化範例 ===\n")

    try {
        val meetingRecord = meetingTranscriber.processMeetingAudio("/Users/cash/Downloads/podcast.mp3")

        println("=== 會議記錄 ===")

        println("原始對話：\n${meetingRecord.transcription}")
        println("\n摘要：${meetingRecord.summary}")
        println("\n待辦事項：")
        meetingRecord.actionItems.forEach { item ->
            println("- $item")
        }

    } catch (e: Exception) {
        println("處理會議錄音失敗：${e.message}")
    }
}

=== 會議記錄自動化範例 ===

=== 會議記錄 ===
原始對話：
[說話者A]: 哇，今天真的是一個相當超現實的一刻。就是真的是，我真的是從小看《神奇》的節目到大的。因為我今年46歲。
[說話者B]: 然後我小時候我大姑最喜歡的節目就是《我愛紅娘》。
[說話者A]: 你把你的長輩也拉出來。
[說話者B]: 對，我真的是從小看《我愛紅娘》長大的。你當然是從小看我長大的，對不對？因為可能大姑都已經是比我還年輕，搞不好。
[說話者A]: 對，對，對。然後那時候就是永遠都記得那句台詞。
[說話者B]: 永遠都記得說，欸，怎麼辦，就是配對到底會不會成功，然後都相當緊張。
[說話者A]: 喔，所以你是看《我愛紅娘》。
[說話者B]: 對，《我愛紅娘》，《紅娘愛我》。
[說話者A]: 為你搭起有情的橋樑。
[說話者B]: 喔，這個真的是大家耳熟能詳的一句slogan。

摘要：這段會議轉錄提到兩位參與者分享了他們從小喜愛的電視節目。說話者A提到了《神節》和其標誌性的台詞，並表達了他從小到大對這些節目的情感連結。說話者B則談到了與《我愛鳳凰》相關的節目，以及這些節目中令人印象深刻的slogan。

待辦事項：

// 直接從網路 URL 載入音訊
AttachmentContent.URL("https://example.com/audio.mp3")

// 從本地檔案讀取為 byte array
val audioBytes = Files.readAllBytes(Path("/path/to/audio.mp3"))
AttachmentContent.Binary.Bytes(audioBytes)