Stability AI, minimal ve oldukça sentetik veriler kullanılarak eğitilmiş yeni FreeWilly dil modellerini ortaya koyuyor

Kasabada yeni bir büyük dil modeli (LLM) var – aslında ikisi – ve 90’ların çocukları adlarını hemen tanıyacak: FreeWilly1 ve FreeWilly2.

Stability AI tarafından Cuma günü açıklandıStable Diffusion görüntü oluşturma yapay zekasının arkasındaki ve eski şirket tarafından kurulan şirket Birleşik Krallık hedge fon sağlayıcısı Özgeçmişini abartmakla suçlanan Emad Mostaque’a göre, iki yeni LLM’nin her ikisi de Meta’nın LLaMA ve LLaMA 2 açık kaynak modellerinin sürümlerine dayanıyor, ancak sentetik verileri içeren tamamen yeni, daha küçük bir veri kümesi üzerinde eğitiliyor.

Her iki model de karmaşık akıl yürütme, dilsel incelikler ve hukuk ve matematik gibi özel alanlarla ilgili karmaşık soruları yanıtlamada mükemmeldir.

Stabilite yan kuruluşu Carper AI FreeWillys’i “ticari olmayan bir lisans” altında piyasaya sürdü – yani para kazanmak/işletme/iş amaçları için kullanılamazlar ve bunun yerine yapay zeka topluluğunda araştırmayı ilerletmeyi ve açık erişimi teşvik etmeyi amaçlarlar.

Daha küçük balinalar, daha çevre dostu

Modellerin isimleri “orca“Microsoft’taki araştırmacılar tarafından geliştirilen, “daha küçük” modellerin (daha sınırlı verilere maruz kalanlar) daha büyük veri kümelerine maruz kalan büyük temel modellerin performansını elde etmesine izin veren AI eğitim metodolojisi. (IRL’ye bir referans değil tekne batan orkalar.)

Spesifik olarak, FreeWilly1 ve FreeWilly2, Enrico Shippole tarafından oluşturulan dört veri kümesinden alınan talimatlar kullanılarak 600.000 veri noktasıyla – orijinal Orca veri kümesinin boyutunun yalnızca %10’u – eğitildi; Modeller yine de, bazı durumlarda GPT-3.5’te ChatGPT ile karşılaştırılabilir ve hatta onu aşan olağanüstü performans üretti.

Sentetik verilerle ilgili eğitim umut vaat ediyor

LLM’ler çoğaldıkça ortaya çıkan sorunlardan biri şudur: Bunlar kullanılarak daha fazla içerik üretildikçe ve ardından bu modellerde yapılacak gelecekteki güncellemeler ve gelecekteki modeller yapay zeka tarafından üretilen içerik/veriler üzerinde eğitildikçe ne olur?

Açık erişimli bir makale, bir “model çöküşü” sürecini tanımladı; burada, yapay zeka tarafından üretilen artan miktarda veri üzerinde eğitilen LLM’ler, insan tarafından oluşturulan veriler üzerinde eğitilen öncekilerden daha kötü performans gösterdi.

Ancak, FreeWillys’i eğitirken, Stability AI sırasıyla 500.000 örnek ve 100.000 sentetik örnek oluşturmak için diğer iki LLM’yi kullandı ve FreeWillys’in hala iyi performans gösterdiğini gördü ve sentetik verilerin model çökmesine ve telif hakkıyla korunan veya tescilli verilerin kullanımından kaçınmaya bir yanıt olabileceğini gösterdi.

Stability AI ile geleceğe doğru yüzmek

Stability AI, bu modellerin açık erişim LLM’ler alanında yeni standartlar belirleyerek doğal dil anlayışını güçlendirdiğini ve karmaşık görevleri mümkün kıldığını öngörüyor.

Stability AI ekibi, “Bu modellerin AI topluluğuna getireceği sonsuz olasılıklar ve ilham verecekleri yeni uygulamalar konusunda heyecanlıyız” dedi. Özverileriyle bu kilometre taşını mümkün kılan araştırmacılara, mühendislere ve işbirlikçilere şükranlarını ifade ettiler.

Araştırmacılar ve geliştiriciler, FreeWilly2’nin ağırlıklarına olduğu gibi erişebilirken, FreeWilly1’in ağırlıkları orijinal model üzerinden deltalar olarak yayınlanır.