From Corpora to Co-Evolving Capabilities: Capability-Centric Data Design for Generalist Image Generation
Large-scale image generation has benefited from advances in data scale, quality, rebalancing, and recaptioning, yet conventional pipelines typically optimize task-specific datasets in isolation. A central challenge is not only how to curate each task-specific corpus, but also how to organize heterogeneous supervision according to the dependencies among generative capabilities. We present a \textbf{capability-driven data infrastructure} that couples capability-specific supervision construction with capability-aligned curriculum scheduling. Its three specialized yet interoperable data engines build complementary relational supervision for text-image grounding, inter-image transformation, and image-knowledge association, while caption experts align T2I and editing supervision across tasks and granularities. A multi-stage curriculum jointly evolves task composition, visual-concept distribution, data quality, and image resolution along the dependency order of capability acquisition, with capability-aware evaluation closing the loop through targeted retrieval, expert construction, and gap-aware resampling. At scale, the framework curates a 440M-image T2I corpus, 120M editing pairs, and over 27M image-entity pairs. With this infrastructure, we train multimodal diffusion models at two scales from scratch, with 3B and 6B sizes respectively. We conduct quantitative evaluation on CPI-Bench, along with qualitative evaluations across diverse text-to-image and editing scenarios. Experimental results present broad visual coverage, versatile rendering, and effective transfer across generative capabilities.
C1 reading
Select any word for its Thai meaning and pronunciation.
แปลไทยทั้งบท
การสร้างภาพขนาดใหญ่ได้ผลกําไรจากความก้าวหน้าในขนาดข้อมูล คุณภาพ การสมดุลใหม่ และการสรุปฉบับใหม่ แต่สายท่อประเพณีมักจะอป্টিมิสต์เซตข้อมูลที่เฉพาะงาน โดยแยกตัว. ปัญหาหลักไม่ใช่เพียงวิธีการจัดงานแต่ละงาน แต่ยังเป็นวิธีการจัดงานดูแลที่หลากหลายตามความพึ่งพาของความทำได้ในการสร้าง. เรานําเสนอโครงสร้างข้อมูลที่ผลักดันความทำได้ ที่เชื่อมโยงการสร้างการดูแลเฉพาะความทำได้กับการกําหนดการหลักสูตรที่สอดคล้องกับความทำได้.
เครื่องยนต์ข้อมูลที่มีความเชี่ยวชาญและทำได้ทำงานร่วมกันได้ทั้ง 3 เครื่องนั้นสร้างการดูแลความสัมพันธ์ที่สมบูรณ์แบบสำหรับการตั้งพื้นภาพภาพข้อความ, การแปลงภาพระหว่างภาพ, และการประสานความรู้ภาพ, ขณะที่ผู้เชี่ยวชาญด้านคําบรรยายสอดคล้อง T2I และการดูแลการแก้ไขระหว่างงานและความละเอียด. โครงการหลักสูตรหลายระยะร่วมกันพัฒนาการประกอบงาน การกระจายแนวคิดภาพภาพ คุณภาพข้อมูล และการแก้ไขภาพตามลําดับการขึ้นอยู่กับความทำได้ในการคว้าความทำได้ โดยการประเมินความทำได้ที่รู้จะปิดวงกลมผ่านการค้นหาที่เป้าหมาย การสร้างผู้เชี่ยวชาญ และการทำตัวอย่างใหม่ที่รู้เรื่องช่องว่าง. ระดับขนาด ภาพยนตร์นี้จัดทำ T2I corpus รูปแบบ 440M รูปแบบ 120M รูปแบบแก้ไข และมากกว่า 27M รูปแบบองค์กร.
ด้วยโครงสร้างพื้นฐานนี้ เราฝึกสอนแบบกระจายแบบหลายรูปแบบในสองระดับตั้งแต่ต้น โดยมีขนาด 3B และ 6B ตามลําดับ. เราดําเนินการประเมินปริมาณบน CPI-Bench พร้อมกับการประเมินคุณภาพในกรณีต่างๆ. ผลการทดลองนําเสนอความคุ้มครองทางการมองเห็นที่กว้างขวาง การถ่ายทอดแบบหลากหลาย และการถ่ายทอดที่มีประสิทธิภาพข้ามความทำได้ในการสร้าง.
ประโยคและวลีที่ใช้ได้จริงจากเรื่องนี้
Useful phrases from this story
ได้รับประโยชน์จากการก้าวหน้าใน.
From the storyLarge-scale image generation has benefited from advances in data scale, quality, rebalancing, and recaptioning, yet conventional pipelines typically optimize task-specific datasets in isolation.
ไม่เพียงแค่วิธีการ.
From the storyA central challenge is not only how to curate each task-specific corpus, but also how to organize heterogeneous supervision according to the dependencies among generative capabilities.
ตามความพึ่งพาระหว่าง.
From the storyA central challenge is not only how to curate each task-specific corpus, but also how to organize heterogeneous supervision according to the dependencies among generative capabilities.
โปรแกรมหลักสูตรที่ตรงกัน.
From the storyWe present a \textbf{capability-driven data infrastructure} that couples capability-specific supervision construction with capability-aligned curriculum scheduling.
เครื่องยนต์ข้อมูลที่มีความเชี่ยวชาญ แต่สามารถสอดคล้องได้.
From the storyIts three specialized yet interoperable data engines build complementary relational supervision for text-image grounding, inter-image transformation, and image-knowledge association, while caption experts align T2I and editing supervision across tasks and granularities.
Save & Review
Only words saved from this story appear here.