看板 AI_Art 關於我們 聯絡資訊
Pico-Banana-400K 是什麼? 蘋果於 2025 年 10 月 26 日推出的 Pico-Banana-400K(簡稱 Pico-Banana)並非一款硬體產品或應用程式,而是一個大型開源資料集,用於推進基 於文字引導的圖像編輯(text-guided image editing)研究。這是蘋果在 AI 和多模態 學習領域的最新貢獻,類似於 ImageNet 在圖像分類領域的地位,被視為圖像編輯領域的 「ImageNet」基礎資源。具體功能與設計資料集規模與結構:包含約 40 萬個文字-圖像- 編輯三元組(triplets),每組包括一張來自 Open Images 資料集的原始真實照片、一 條人類般的編輯指令(如「將背景改成雪景」或「增加圖像亮度並替換物件」),以及對 應的編輯後圖像。 資料集分為三部分: 單輪編輯(Single-turn):約 25.8 萬個成功編輯示例,用於監督式微調(supervised fine-tuning);另有 5.6 萬個失敗案例,用於 偏好學習(preference learning)。 多輪編輯(Multi-turn):約 7.2 萬個序列,每序列包含 2-5 個連續編輯,支持迭代精 煉和上下文感知編輯。 所有示例均提供簡短和詳細指令變體,以研究提示詞(prompt)的粒度影響。 編輯類型:涵蓋 35 種編輯操作,分為 8 個語義類別,例如:像素與光度調整(亮度、 對比度)。 物件級操作(添加、移除、替換物件)。 場景組成(環境變化)、風格轉移(藝術風格)、文字符號修改、人類外貌編輯、尺度視 角調整,以及空間佈局(擴展畫面)。 生成與品質控制:使用 Google 的 Nano-Banana 模型進行編輯生成,Gemini-2.5-Flash 生成自然指令,Gemini-2.5-Pro 進行自動評估(基於指令遵守度 40%、真實性 25%、保 留平衡 20%、技術品質 15%)。僅得分 >0.7 的編輯視為成功,圖像解析度為 512-1024 像素。整個過程自動化,無需大量人工註解。 開源細節:託管在 GitHub(apple/pico-banana-400k),採用 CC BY-NC-ND 4.0 許可( 非商業研究使用),可透過蘋果公共 CDN 下載。相關論文《Pico-Banana-400K: A Large-Scale Dataset for Text-Guided Image Editing》已發表於 arXiv。 這個資料集的目的是彌補現有合成資料集的不足,提供高品質、多樣化的真實圖像數據, 支持訓練和評估如 GPT-4o 或 Nano-Banana 等多模態模型。會帶來怎樣的影響? Pico-Banana-400K 的發布將對 AI 研究、產業和市場產生多層面影響,特別是在圖像編 輯和生成式 AI 領域:技術與研究影響:加速創新:作為首個大規模、真實圖像導向的開 源資料集,它將推動文字引導編輯模型的發展,包括單步、多輪對話式編輯,以及基於失 敗案例的獎勵模型訓練。這有助於提升模型的可控性、視覺保真度和語義一致性,解決當 前研究中資料匱乏的瓶頸。 基準標準:類似 ImageNet 的角色,它可作為新模型的訓練/評估基準,促進學術界和產 業的公平比較。未來研究可能聚焦於複雜任務(如精確物件移動,成功率僅 59%)的改進 。 自動化數據生成:展示蘋果在自持續 AI 生態系統的實力,強調自動管道在擴展高品質數 據方面的潛力,可能啟發其他領域的資料集構建。 產業與市場影響:工具與應用:將利於開發更先進的 AI 圖像編輯軟體,如 Photoshop 的 AI 功能或蘋果自家 Photos 應用,提升創意產業(如廣告、電影、社交媒體)的生產 力。 競爭格局:蘋果透過開源強化其在 AI 研究中的領導地位,可能吸引開發者生態,間接提 升 Apple Silicon(如 M 系列晶片)在 AI 訓練的應用。但由於非商業許可,可能限制 直接商業化,轉而聚焦於研究轉化。 更廣泛效應:預計影響生成式 AI 市場,推動多模態學習進展,潛在塑造未來 10 年 AI 工具的發展。短期內,可能刺激競爭對手(如 Google、OpenAI)發布類似資源。 總體而言,Pico-Banana-400K 標誌著蘋果從硬體轉向 AI 開源貢獻的深化,強調品質而 非數量,將為圖像編輯領域注入新活力。 -- 文章生成:grok 參考: https://finance.sina.com.cn/roll/2025-10-26/doc-infvexcr6320614.shtml https://github.com/apple/pico-banana-400k 蘋果搞出了能強化改圖AI的資料集 大概是這樣? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.36.233.11 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/AI_Art/M.1761457634.A.92D.html