Eğitildikten sonra bir LLM’ye ne olur?


Intelligent Security Summit’teki tüm isteğe bağlı oturumlara göz atın burada.


Metni anlayan ve üreten Büyük Dil Modelleri (LLM’ler) veya sistemler, son zamanlarda yapay zeka alanında sıcak bir konu olarak ortaya çıkmıştır. LLM’lerin OpenAI gibi teknoloji devleri tarafından piyasaya sürülmesi, Google, Amazon, Microsoft ve Nvidiave açık kaynak toplulukları, LLM alanının yüksek potansiyelini gösterir ve gelişiminde büyük bir adımı temsil eder. Bununla birlikte, tüm dil modelleri eşit yaratılmamıştır.

Bu makalede, açık kaynaklı ürünler, dahili kullanım için ürünler, ürün platformları ve platformların üzerindeki ürünler dahil olmak üzere, LLM’leri oluşturulduktan sonra kullanma yaklaşımları arasındaki temel farklılıklara bakacağız. Ayrıca her yaklaşımdaki karmaşıklıkları inceleyeceğiz ve her birinin önümüzdeki yıllarda nasıl ilerleyebileceğini tartışacağız. Ama önce, daha büyük resim.

Zaten büyük dil modelleri nelerdir?

LLM modellerinin yaygın uygulamaları, soru yanıtlama, metin tanıma ve metin sınıflandırma gibi basit görevlerden metin veya kod oluşturma, mevcut yapay zeka yeteneklerini araştırma ve insan benzeri konuşma aracıları gibi daha yaratıcı görevlere kadar uzanır. Yaratıcı nesil kesinlikle etkileyici, ancak bu modellere dayanan daha gelişmiş ürünler henüz gelmedi.

LLM teknolojisi ile ilgili önemli olan nedir?

LLM’lerin kullanımı, daha yeni ve daha büyük sistemler geliştirildikçe son yıllarda önemli ölçüde artmıştır. Bunun bir nedeni, metin oluşturma, cümle tamamlama, sınıflandırma ve çeviri gibi çeşitli görevler için tek bir modelin kullanılabilmesidir. Buna ek olarak, “birkaç adımla öğrenme” olarak adlandırılan, yalnızca birkaç etiketli örnek verildiğinde makul tahminler yapma yeteneğine sahip görünüyorlar.

Etkinlik

İsteğe Bağlı Akıllı Güvenlik Zirvesi

Yapay zeka ve makine öğreniminin siber güvenlikteki kritik rolünü ve sektöre özel vaka incelemelerini öğrenin. İsteğe bağlı oturumları bugün izleyin.

Buraya bak

LLM modelleri için mevcut olan üç farklı geliştirme yoluna daha yakından bakalım. Gelecekte karşılaşabilecekleri potansiyel sakıncaları değerlendireceğiz ve olası çözümler için beyin fırtınası yapacağız.

Açık kaynak

Açık kaynaklı LLM’ler, yeniden dağıtım ve değişiklik için ücretsiz olarak sunulan orijinal kaynak kodu ve modelleri ile açık işbirliği yazılımı olarak oluşturulur. Bu, AI bilim adamlarının, model geliştirmeyi belirli bir teknoloji şirketi grubuyla sınırlamak yerine, modellerin yüksek kaliteli yeteneklerini (ücretsiz olarak) kendi projelerinde kullanmalarına olanak tanır.

​​Birkaç örnek Çiçek açmak, Yalm ve hatta Satış ekibi, hızlı ve ölçeklenebilir AI/ML geliştirmeyi kolaylaştıran ortamlar sağlar. Açık kaynak geliştirme, tanımı gereği katkıda bulunanların kullanımına açık olsa da, yüksek geliştirme maliyetlerine neden olacaktır. Bu modelleri barındırmak, eğitmek ve hatta ince ayar yapmak, yatırım, özel bilgi ve özel olarak bağlanmış büyük hacimli GPU’lar gerektirdiğinden, daha fazla kayıptır.

Teknoloji şirketlerinin bu teknolojilere yönelik devam eden yatırımları ve açık kaynak kullanımı, şirketin alandaki liderliğini sergilemek gibi markayla ilgili hedeflerle veya daha geniş bir topluluğun gelebileceği alternatif katma değerleri keşfetmek gibi daha pratik hedeflerle motive edilebilir. kadar

Diğer bir deyişle, bu teknolojilerin iş uygulamalarında faydalı olabilmesi için yatırım ve insan rehberliği gerekmektedir. Çoğu zaman, modellerin uyarlanması, belirli miktarlarda insan tarafından etiketlenmiş veriler üzerinde ince ayar yapılması veya geliştiricilerle ve modellerden ürettikleri sonuçlarla sürekli etkileşim yoluyla elde edilebilir.

Ürün

Buradaki açık lider, en kullanışlı modelleri yaratan ve bazılarını bir API aracılığıyla etkinleştiren OpenAI’dir. Ancak CopyAI, JasperAI ve Contenda gibi birçok küçük girişim, alandaki liderler tarafından sunulan “hizmet olarak model”in yanı sıra kendi LLM destekli uygulamalarını geliştirmeye başladı.

Bu küçük işletmeler kendi pazarlarından pay almak için rekabet ederken, çok daha küçük miktarda veri kullanırken ellerindeki görev için ince ayar yaparak süper bilgisayar ölçekli modellerin gücünden yararlanırlar. Uygulamaları genellikle tek bir görevi çözmek ve belirli ve çok daha dar bir pazar segmentine odaklanmak için eğitilir.

Diğer şirketler, üretken yapay zeka biliminin ilerlemesine katkıda bulunarak OpenAI’lerle rekabet edebilecek kendi modellerini geliştiriyor. Örnekler şunları içerir: AI21, Tutarlıve EleutheraAI’den GPT-J-6Bburada modeller metin oluşturur veya sınıflandırır.

Dil modellerinin başka bir uygulaması kod üretimidir. OpenAI ve GitHub gibi şirketler (GitHub Copilot eklentisi ile OpenAI Kodeksi), tabnin ve Uçurtma otomatik kod üretimi için araçlar üretin.

İç kullanım

Google, DeepMind ve Amazon gibi teknoloji devleri, bazıları açık kaynaklı verilere dayanan kendi LLM sürümlerini şirket içinde tutar. AI dili alanını ilerletmek için modellerini araştırır ve geliştirirler; moderasyon ve sosyal medya sınıflandırması gibi ticari işlevler için sınıflandırıcı olarak kullanmak; veya reklam ve ürün açıklaması oluşturma gibi büyük yazılı istek koleksiyonları için uzun kuyrukların geliştirilmesine yardımcı olmak.

LLM’lerin sınırlamaları nelerdir?

Yüksek geliştirme ve bakım maliyetleri gibi bazı dezavantajlardan zaten bahsetmiştik. Daha teknik sorunlara ve bunların üstesinden gelmenin potansiyel yollarına biraz daha derinlemesine bakalım.

Araştırmaya göre, daha büyük modeller daha küçük olanlardan daha sık yanlış cevaplar, komplolar ve güvenilmez bilgiler üretir. Örneğin, 6B parametreli GPT-J modeli, 125M parametreli muadilinden %17 daha az doğruydu.

LLM’ler internet verileri üzerinde eğitildiğinden, istenmeyen verileri yakalayabilirler. toplumsal önyargılar ırk, cinsiyet, ideoloji ve din ile ilgili. Bu bağlamda, farklı insani değerlerle uyum sağlamak hâlâ özel bir zorluk olmaya devam ediyor.

Son zamanlarda olduğu gibi, bu modellere açık erişim sağlamak Galactica durumda da riskli olabilir. Ön insan doğrulaması olmadan, modeller istemeden ırkçı yorumlar veya yanlış bilimsel iddialar üretebilir.

LLM’leri geliştirmek için bir çözüm var mı?

Metin taklidi dışındaki eğitim hedefleriyle ince ayar yapmaktansa, yalnızca modelleri büyütmek doğruluğu artırmak ve müstehcen içerikten kaçınmak için daha az umut verici görünmektedir.

Belirli bir durum için “önyargılı” tanımına uyan parçaları bulmak için içeriği analiz eden denetimli bir sınıflandırıcıya sahip bir önyargı veya gerçek algılama sistemi, bu tür hataları düzeltmenin bir yolu olabilir. Ancak bu, sizi yine de modeli eğitme sorunuyla baş başa bırakır.

Çözüm, veriler veya daha spesifik olarak, insanlar tarafından etiketlenmiş büyük miktarda veridir. Sisteme yeterli veri örneğini ve müstehcen içeriği bulmak için karşılık gelen çokgen ek açıklamasını besledikten sonra, veri kümesinin zararlı veya yanlış olarak tanımlanan bölümleri ya kaldırılır ya da modelin çıktılarında kullanılmalarını önlemek için maskelenir.

Önyargı tespitine ek olarak, metinleri akıcılık ve okunabilirlik, doğal dil, dilbilgisi hataları, bağdaşıklık, mantık ve alaka düzeyine göre değerlendirmek için insan değerlendirmesi kullanılabilir.

Henüz AGI değil

Şüphesiz, son yıllarda AI dil modellerinde bazı gerçekten etkileyici ilerlemeler görüldü ve bilim adamları, alanın en zor alanlarından bazılarında ilerleme kaydetmeyi başardılar. Yine de ilerlemelerine rağmen, LLM’ler sağduyu, zayiat tespiti, açık dil tespiti ve sezgisel fizik gibi istihbaratın en önemli yönlerinden bazılarından hala yoksundur.

Sonuç olarak, bazı araştırmacılar sorgulama Ne kadar veri kullanılırsa kullanılsın, gerçekten akıllı sistemler oluşturmanın en iyi yolu yalnızca dil üzerine eğitim olup olmadığı. Dil, mesajların özünü iletmek için bir sıkıştırma sistemi olarak iyi işlev görür. Ancak insan deneyiminin özelliklerini ve bağlamlarını yalnızca dil yoluyla öğrenmek zordur.

Hem biçim hem de anlam üzerine eğitilmiş bir sistem – örneğin aynı anda videolar, resimler, sesler ve metinler üzerinde – doğal dil anlayışı biliminin ilerlemesine yardımcı olabilir. Her durumda, sağlam LLM sistemleri geliştirmenin bilimi nereye götüreceğini görmek ilginç olacaktır. Yine de bir şeyden şüphe etmek zor: LLM’lerin potansiyel değeri, şimdiye kadar elde edilenden önemli ölçüde daha büyük.

Fedor Zhdanov, ML’nin başkanıdır. toloka.

DataDecisionMakers

VentureBeat topluluğuna hoş geldiniz!

DataDecisionMakers, veri işini yapan teknik kişiler de dahil olmak üzere uzmanların verilerle ilgili içgörüleri ve yenilikleri paylaşabileceği yerdir.

En yeni fikirler ve güncel bilgiler, en iyi uygulamalar ile veri ve veri teknolojisinin geleceği hakkında okumak istiyorsanız DataDecisionMakers’ta bize katılın.

Kendi makalenizle katkıda bulunmayı bile düşünebilirsiniz!

DataDecisionMakers’dan Daha Fazlasını Okuyun


Kaynak : https://venturebeat.com/ai/what-happens-to-an-llm-after-its-trained/

Yorum yapın

SMM Panel PDF Kitap indir