Neden glTF, meta veri deposu ve dijital ikizler için JPEG’dir?


Transform 2022’yi 19 Temmuz’da ve neredeyse 20 – 28 Temmuz’da geri getirmekten heyecan duyuyoruz. Bilgili görüşmeler ve heyecan verici ağ oluşturma fırsatları için yapay zeka ve veri liderlerine katılın. Bugün kayıt Ol!


JPEG dosya formatı, görüntüleri paylaşmak için açık ve verimli bir kapsayıcı aracılığıyla web’i bir metin dünyasından görsel bir deneyime dönüştürmede çok önemli bir rol oynadı. Şimdi, grafik dili iletim formatı (glTF), meta veri deposu ve dijital ikizlerdeki 3B nesneler için aynı şeyi yapmayı vaat ediyor.

JPEG, GIF gibi diğer biçimlere kıyasla görüntüleri önemli ölçüde küçültmek için çeşitli sıkıştırma hilelerinden yararlandı. glTF’nin en son sürümü benzer şekilde hem 3B nesnelerin geometrisini hem de dokularını sıkıştırma tekniklerinden yararlanır. Adobe’nin meta veri deposuna girmesiyle kanıtlandığı gibi, glTF zaten e-ticarette çok önemli bir rol oynuyor.

VentureBeat, glTF’nin işletmeler için ne anlama geldiği hakkında daha fazla bilgi edinmek için glTF standardını yöneten Khronos Vakfı’nın başkanı Neil Trevett ile görüştü. Aynı zamanda, işinin geliştiricilerin GPU’ları kullanmasını kolaylaştırmak olduğu Nvidia’da Geliştirici Ekosistemleri Başkan Yardımcısıdır. glTF’nin USD gibi diğer dijital ikiz ve meta veri tabanı formatlarını nasıl tamamladığını, nasıl kullanılacağını ve nereye doğru gittiğini açıklıyor.

VentureBeat: glTF nedir ve meta veri deposu ve dijital ikizlerle ilgili türdeki dosya biçimlerinin ekosistemine nasıl uyar?

Neil Trevett: Khronos’ta OpenGL, WebGL ve Vulkan gibi 3D API’ler için çok çaba sarf ediyoruz. 3D kullanan her uygulamanın bir noktada varlıkları içe aktarması gerektiğini bulduk. glTF dosya formatı geniş çapta benimsenmiştir ve Omniverse gibi platformlarda oluşturma ve yazma için standart haline gelen USD’yi tamamlayıcı niteliktedir. Gelişmiş ardışık düzenlerde birden fazla aracı bir araya getirmek ve filmler de dahil olmak üzere çok üst düzey içerik oluşturmak istiyorsanız, doğru yer USD’dir. Bu nedenle Nvidia, Omniverse ekosistemi için USD’ye büyük yatırım yapıyor.

Öte yandan, glTF bir dağıtım formatı olarak verimli ve kullanımı kolay olmaya odaklanır. Cep telefonlarındaki web tarayıcıları da dahil olmak üzere herhangi bir platformun veya cihazın kullanabileceği hafif, modern ve işlenmesi kolay bir formattır. Bir benzetme olarak kullandığımız slogan, “glTF, 3D’nin JPEG’idir”.

Ayrıca, geliştirme araçlarında kullanılan dosya biçimlerini de tamamlar. Örneğin Adobe Photoshop, görüntüleri düzenlemek için PSD dosyalarını kullanır. Pek çok bilgi kaybolduğu için hiçbir profesyonel fotoğrafçı JPEG’leri düzenleyemez. PSD dosyaları JPEG’lerden daha karmaşıktır ve birden çok katmanı destekler. Ancak, annemin cep telefonuna bir PSD dosyası göndermezsiniz. Mümkün olduğunca verimli ve hızlı bir şekilde bir milyar cihaza ulaştırmak için JPEG’e ihtiyacınız var. Dolayısıyla USD ve glTF benzer şekilde birbirini tamamlar.

VentureBeat: Birinden diğerine nasıl geçersiniz?

Trevett: USD varlıklarından glTF varlıklarına kadar kesintisiz bir damıtma sürecine sahip olmak çok önemlidir. Nvidia, glTF varlıklarını Omniverse içine ve dışına sorunsuz bir şekilde içe ve dışa aktarabilmemiz için Omniverse için bir glTF konektörüne yatırım yapıyor. Khronos’taki glTF çalışma grubunda, USD’nin endüstrinin bir yazarlık formatına yönelik ihtiyaçlarını karşılamasından mutluyuz çünkü bu çok büyük bir iş. Amaç, glTF’nin yaygın dağıtımı desteklemek için USD için mükemmel damıtma hedefi olması.

Bir yazma formatı ve bir teslim formatı oldukça farklı tasarım zorunluluklarına sahiptir. USD’nin tasarımı tamamen esneklikle ilgilidir. Bu, bir film veya VR ortamı oluşturmak için bir şeyler oluşturmaya yardımcı olur. Başka bir varlık getirmek ve onu mevcut sahneyle harmanlamak istiyorsanız, tüm tasarım bilgilerini saklamanız gerekir. Ve her şeyi, çözünürlük ve kalitenin temel gerçek seviyelerinde istiyorsunuz.

Bir iletim formatının tasarımı farklıdır. Örneğin, glTF ile köşe bilgisi, yeniden yazma için çok esnek değildir. Ancak tam olarak GPU’nun bu geometriyi WebGL veya Vulkan gibi bir 3D API aracılığıyla mümkün olduğunca verimli bir şekilde çalıştırması için ihtiyaç duyduğu biçimde iletilir. Bu nedenle, glTF, indirme sürelerini azaltmak için sıkıştırmaya çok fazla tasarım çabası harcar. Örneğin, Google katkıda bulunmuştur. Draco 3D ağ sıkıştırma teknolojisi ve Binomial, temel evrensel doku sıkıştırma teknolojisi. Ayrıca, modelleri çok verimli bir şekilde indirebilmeniz için ayrıntı düzeyi (LOD) yönetimi için çok çaba sarf etmeye başlıyoruz.

Damıtma, bir dosya biçiminden diğerine geçmeye yardımcı olur. Bunun büyük bir kısmı, artık ihtiyacınız olmayan tasarım ve yazma bilgilerini çıkarmaktır. Ancak gerçekten gerekmedikçe görsel kaliteyi düşürmek istemezsiniz. glTF ile görsel doğruluğu koruyabilirsiniz, ancak düşük bant genişliği dağıtımını hedeflerken işleri sıkıştırma seçeneğiniz de vardır.

VentureBeat: Aslına uygunluğunu çok fazla kaybetmeden ne kadar küçültebilirsin?

Trevett: Kabul edilebilir bir görüntü kalitesi kaybıyla sıkıştırmayı artırmak için bir kadrana sahip olduğunuz JPEG gibi, yalnızca glTF hem geometri hem de doku sıkıştırması için aynı şeye sahiptir. Geometri açısından yoğun bir CAD modeliyse, verinin büyük kısmı geometri olacaktır. Ancak daha çok tüketici odaklı bir model ise, doku verileri geometriden çok daha büyük olabilir.

Draco ile, kalitede önemli bir düşüş olmaksızın verileri 5 ila 10 kat küçültmek mantıklıdır. Doku için de benzer bir şey var.

Diğer bir faktör ise cep telefonlarında çok değerli bir kaynak olan bellek miktarıdır. glTF’de Binom sıkıştırmayı uygulamadan önce, insanlar JPEG’ler gönderiyordu, bu da nispeten küçük oldukları için harika. Ancak bunu tam boyutlu bir dokuda açma işlemi, basit bir model için bile yüzlerce megabayt alabilir ve bu da bir cep telefonunun gücüne ve performansına zarar verebilir. glTF dokuları, JPEG boyutunda süper sıkıştırılmış bir doku almanıza ve onu hemen bir GPU yerel dokusuna açmanıza olanak tanır, böylece asla tam boyuta büyümez. Sonuç olarak, hem veri aktarımını hem de gereken belleği 5-10 kat azaltırsınız. Varlıkları bir cep telefonunda bir tarayıcıya indiriyorsanız bu yardımcı olabilir.

VentureBeat: İnsanlar 3B nesnelerin dokularını nasıl verimli bir şekilde temsil eder?

Trevett: Eh, iki temel doku sınıfı vardır. En yaygın olanlardan biri, bir logo görüntüsünü bir tişörtün üzerine eşlemek gibi yalnızca görüntü tabanlı dokulardır. Diğeri, sadece bir algoritma çalıştırarak mermer, ahşap veya taş gibi bir desen oluşturduğunuz prosedürel dokudur.

Kullanabileceğiniz birkaç algoritma var. Örneğin, Adobe’nin yakın zamanda satın aldığı Allegorithmic, şimdi Adobe Substance Designer’da kullanılan dokuları oluşturmak için ilginç bir tekniğe öncülük etti. İstemci cihazlarda işlenmesi daha kolay olduğu için bu dokuyu genellikle bir görüntüye dönüştürürsünüz.

Bir dokuya sahip olduğunuzda, onu bir parça ambalaj kağıdı gibi modelin üzerine yapıştırmaktan daha fazlasını yapabilirsiniz. Daha sofistike bir malzeme görünümü elde etmek için bu doku görüntülerini kullanabilirsiniz. Örneğin, fiziksel tabanlı işlenmiş (PBR) malzemeler, denediğiniz ve gerçek dünya malzemelerinin özelliklerini taklit edebileceğiniz kadar ileri götürdüğünüz yerdir. Parlak görünmesini sağlayan metalik mi? yarı saydam mı? Işığı kırar mı? Daha karmaşık PBR algoritmalarından bazıları, ne kadar parlak veya yarı saydam olduğunu karakterize eden parametrelerde beslenen 5 veya 6’ya kadar farklı doku haritası kullanabilir.

VentureBeat: glTF, araba tekerleklerinin nasıl dönebileceği veya birden fazla şeyi nasıl bağlayabileceği gibi nesneler içindeki ilişkileri temsil etmek için sahne grafiği tarafında nasıl ilerledi?

Trevett: Bu, USD’nin glTF’nin çok önünde olduğu bir alandır. Çoğu glTF kullanım durumu, şimdiye kadar tek bir varlık dosyasındaki tek bir varlık tarafından karşılandı. 3D ticaret, bir sandalyeyi getirmek ve onu Ikea gibi oturma odanıza bırakmak istediğiniz önde gelen bir kullanım örneğidir. Bu, tek bir glTF varlığıdır ve kullanım durumlarının çoğu bununla tatmin olmuştur. Meta veri deposuna ve VR ve AR’ye doğru ilerledikçe, insanlar dağıtım için birden çok varlık içeren sahneler oluşturmak istiyor. Çalışma grubunda tartışılan aktif bir alan, çoklu glTF sahnelerini ve varlıklarını en iyi nasıl uyguladığımız ve bunları nasıl bağladığımızdır. Yazma yerine iletim ve dağıtıma odaklanıldığı için USD kadar karmaşık olmayacaktır. Ancak glTF, önümüzdeki 12 ila 18 ay içinde çoklu varlık kompozisyonunu ve bağlantı kurmayı sağlayacak bir şeye sahip olacak.

VentureBeat: glTF, daha fazla metaverse ve dijital ikiz kullanım durumlarını desteklemek için nasıl gelişecek?

Trevett: Sadece fiziksel görünümün ötesindeki şeyleri getirmeye başlamalıyız. Bugün glTF 2.0’da geometri, dokular ve animasyonlar var. Mevcut glTF, fiziksel özellikler, sesler veya etkileşimler hakkında hiçbir şey söylemez. glTF için birçok yeni nesil uzantının bu tür davranış ve özellikleri ekleyeceğini düşünüyorum.

Endüstri şu anda USD ve glTF’nin ileriye gideceğine karar veriyor. OBJ gibi daha eski formatlar olmasına rağmen, yaşlarını göstermeye başlıyorlar. FBX gibi tescilli popüler formatlar vardır. USD açık kaynaklı bir projedir ve glTF açık bir standarttır. İnsanlar her iki ekosisteme de katılabilir ve müşteri ve pazar ihtiyaçlarını karşılayacak şekilde gelişmelerine yardımcı olabilir. Bence her iki format da yan yana gelişecek. Şimdi amaç, onları hizada tutmak ve bu verimli damıtma sürecini ikisi arasında tutmaktır.


Kaynak : https://venturebeat.com/2022/05/11/why-gltf-is-the-jpeg-for-the-metaverse-and-digital-twins/

Yorum yapın