OpenAI's gigantic GPT-3 သည် AI အတွင်းနဲ့ ဘာသာစကားဖတ်တင်မှုများ၏ အများအားဆုံးနူနဲ့ ကူညီပေးနိုင်ရန် အရေးကြီးသတ်မှတ်ခြင်းကို အင်တာနတ်မြတ်နိုင်ပါသည်

တစ်ယောက်နှစ်ပြည့်စုံတွင် ဘာသာရပ် (စာသား) ဖြင့်ငွေ ကိုအစ်မျိုးအတိုအထုတ်ဖြစ်သည့် စမိတ်ကိုးရေး ကုမ္ပဏီတစ်ရပ် ဖွဲ့စည်းခြင်းသည် ကျယ်တပ်ဆင်မှု ရထားတစ်ခုကို အလုပ်လုပ်ကိုင်း သွားသည့် ပုဂျိုလ်များ အားလုံးကို ဘယ်လိုမှတ်သားကြေးရမည်ဆိုလျှင် လူမှု-စက်မှု အနှောင်းဆုံးရှုံးလွန်သည်တို့ကို လိုချင်တယ်။

ဒီနေ့တွင် OpenAI အကြိုးအများကြားထားတဲ့ သစ်ကားကိုနည်းလမ်းများကြီးသရုပ်ပြားတစ်ခုဖြစ်သွားပါတယ်။ အသေးစိတ်ကား GPT-3 ဟာ ယခုနှစ်အတိုင်း နောက်ထပ်မြင်ရန် နေရာကျတယ်။ ယခုကတော့ ရင်းအနှစ်များအတွင်းမှာ Alec Radford နှင့် Ilya Sutskever ကိုသုံးပြီး ယူဆတဲ့ယခု ဗဟုသုတများပါဝင်သော အရေးပါအတို့ နည်းလမ်းလက်ကျောင်း အပြတ်အလွန်ဖြစ်သည်။ထို့အတွက် Johns Hopkins တက္ကသိုလ်အားသွင်းထားချိုးသူများကိုပါဝင်သည်။

ဒီအော်ဒါတွေကို တိုးနှင့်ဖတ်ရှုနိုင်အောင်တွေကိုလွန်ပြုပြီး ရိုနာမယ်ဖြစ်ပါတယ်။ အဓိကပင်နှစ်လုံးထက် စာပိုဒ်ကိုအရမ်းကျယ်လို့ရြေးခဲ့တယ်။

ဒီမွာယူကနေသင့်အဖြစ်သက်ဆိုးတဲ့ အမြဲတမ်းအပေါ်မှာတစ်ခြေလျှင် OpenAI team က အလုပ်အများဆုံးအကြောင်ရွေးချယ်တဲ့အတွက် အဖွင့်သင့်ဖြစ်နေပါသည်။ ပိုမိုသည်က ဒီဇိုင်းလည်း သင့်တစ်ဦးကနေပြောပေးသည့်လူတစ်ဦးဖြစ်နေပါသည်။

ပြီးပြည်သူအဆင့်သင်ချိန်နဲ့အတူတကြောင်းပြသောရှေ့သော ၇၂ စာပိုဒ်ကိုကျော်သောအရာတွင်ကမ္ဘာတစ်ခုတည်းကိုရှင်းပြထားသည်။ ဘာသာစကား ပမာဏအသစ်များကိုနှင့်အတူ အနောက်တရားအင်္ဂလိပ်များလျှောကျထွောက်သူ၊ arXiv အီးမေးလ်မှတင်တွင်ယင်းမှု ပရိုမိုးရှင်းသွားချက်တစ်ခုအတွင်းအသုံးပြုသတ်မှတ်ရန်ဖတ်ရှုတွေ့ခဲ့သည်။

"ယခုစာဖတ်သူအားဖြင့် ပူးချီညွှန်စွာလုပ်ကိုင်အရာဖြင့်တိုင်းပြရန်အမှတ် (၆၆)ရာခိုင်သကဲ့လောက်LM-like ပုံစံများကို အနီးအနားထား၍ဖြင့် အနည်းအစားမြင်ကွင်းအနီးအနားဖြင့်ဘုတ်တခုကိုပြန်လိုက်ရန် – အောကထားမှတ်သားများသည် ယခင်ကိုဖွင့်တိုင်း၏မရှိတော့ဖြစ် (သို့မဟုတ်) ရှေးအသားဝင်များကို ပုံမှန်အတိုင်း အတိအကျအတာနဲ့ထားပြီးမှတ်ထားပါသည်။"

ဘာဖြစ်သောကြောင်းရာကို စကားလုံးတွေကို ရေးထားနေသောအကြောင်းအရာတွေကို ရှယ်ယာဖြေရှင်းနိူင်လိုအပ်တဲ့သောအရာအတွက်မှာ ကြောင်းကရွောင်ထားရှာလို့ရပါတယ်။ သင်နောက် နောက်ထပ် ပေးနေသောအထိရေှာင် အကြောင်းအရာက၍ အကောင်းဆုံးဖြန့်ဖြူရန် အတွက် တိုးချဲ့ရန် အမြန်ပြန်မှုကို မွှေးနေလိုက်ပါတယ်။ ထို့နောက် ပိဿကောင်း ဒိုမေနရှင်းသည့်အတွက် ကမြန်းကြောင်း ပေးရန်အကို မြှောင်းနေတာလဲဖြစ်လို့ရပါတယ်။ အကောင်းဆုံး ပေးချောင်းနေခြင်းသည် ပြည်လာမှုပေးချောင်းနေခြင်းပြုလုပ်နိုင်သည့် ကဆက်ကဆျာင်းလိုင်းချက်ပုံစံမျိုးကို တစ်နိုင်ငံနှင့် အကွာအဝေးများကို သိနိုင်သည့်တိုက်ကွက်ကို ရမယ်လိုသားဖြစ်ပါတယ်။

အောက်ပိုင်းဆုံးရှင်သည်ဝေးသားမှုချက်ကိုလည်းကြည့်ရန်မှာမဟုတ်ပါဘူး။ ရိုးသားစီမံကိန်းလောင်းလုပ်မှုအတွက် OpenAI ရဲ့ဘာသာအစည်းအဝေးအမြဲစမ်းသပ်မှုရှိသော အမြင်သားအစည်းအဝေးအမြဲစမ်းသပ်ကိုလည်းဦးစွာဖန်တီးခဲ့တဲ့လူမျိုးစာခွဲရည်မှာကြုံတဲ့ အစီအစဉ်မှုနဲ့ပတ်သက်သောစနစ်များအားပြန်လည်စည်းကမ်းလုံးထောင်ပါသည်။

နှစ်သက်ရာ GPT နှင့် GPT-2 သည် ၂၀၁၇ မှာ Google မှ ဖွင့်ထားသော Transformer အကြီးအသေးကို အသုံးပြုထားသည့်ပြုလစ်သင်္ကေတကို အစေ့အကြုံလိုက်ရမည်။ Transformer သည် ကျွန်တော်မှာ အသုံးပြုသူအား ၂ခုမျိုး၊ အခြားစကားလုံးမျိုးများကို ရရှိနိုင်သောအရေအတွက်ဖြစ်ပါသည်။ OpenAI သည် ပြီးခဲံသောတန်ဖိုးတွေကို GPT-2 အကြောင်းအရင်းတန်ဖိုးလုံး မပြုရနိုင်သည်။ ချက်ချင်းနှင့် မပြုထားရောက်နေသောအခါ GPT-2 အကောင်းဆုံး version အကြောင်းတွင် source code ကို ဖျက်ရှုလိုက်မည်မဟုတ်ပဲ၊ ဘာသာပြန်ခြင်းကို တစ်မျိန်နှင့်ပြန်တန်ဖိုးတူရန်လိုများဖြစ်သည်ကို ကြားခြင်း ဖြစ်နိုင်မည်ဖြစ်သည်။

ယောက််ုံးသေဆုံးနေ့ GPT ကို အလယ်အလတွင်ဆက်လက်ပြောင်းရန်နှင့်သောအဆင့်ကျိုးဆုံးအစီမတန်ဘောအတွက် GPT-2 ရဲ့အကြောင်းအရာကို မကိုဟေရေးကြောင်းခံနေပြီ။ GPT-2 အားမဟာသာပေါ်တွင် ရေတွက်မှုကို 1.5 သောင်းကြောင်းကနေရစ်ဖန်ခွင့်ပြောင်းခဲ့သည့်အရာဖြစ်ပါတယ်။ GPT-3 သည် 175 သောင်းကြောင်းကနေရစ်ဖန်ခွင့်ပြောင်းခဲ့သည့်အရာဖြစ်ပါတယ်။ အဆင့်သင့်သင့်ကိုနှောင်ခြေထွက်လိုက်နာသလောက် အချိန်နှင့်ပြောင်းခွင့်ကိုလည်းများစွာပြန်သုံးပါရန် နှစ်ဦးဖြည့်ကိုရေးထားသည့် ဒီဇိုင်းခြုံအတွက် အပေါက်ကိုဖတ်ရန်ဖန်တီးထားသည့်လိုအပ်ပါသည်။

အချို့က်ရန်ကြောင့်ကိုအာမခံသွားတဲ့အဆင်ပြေအကောင်းများနောက် GPT အမျိုးအစားများနှင့်ကျွန်ုပ်တို့၊ Google ရဲ့ BERT နဲ့တွဲဖက်သို့ပွဲကြီးဆုပ်မှုကိုစွန့်ယွင်းမှုတွေကို ရရှိတဲ့ရကြိုးတွေကိုသဘောတကွန်မှု သတ်မှတ်နိုင်ပါတယ်။

ဖြစ်နေတဲ့အချက်အလက်တွေကိုရှာရာတွေမှာ ငယ်ငယ်ကျွန်မချင်သူတွေဟာလေးပါတယ်။ အင်တာနက်အတွက်ကင်းခွင်းမရှိအောင်လောက်တော့အခြေခံနေသူတွေဆိုတာလို့မဟုတ်ချိတ်ဆက်ရွာရမှာဖြစ်လို့ပါတယ်။

နောက်ဆုံးနောက်ပြန်ရောင်းခဲ့သည့်နောက်တစ်ခုပါ။ GPT-2 နှင့်အခြားမြန်မာ့ Transformer-based ပရိုစ်များအကြောင်းအထဲမှာသင့်တော်လှန်းလွှာမြှောင်းကြောင်းသော Common Crawl data set ကိုသုံးပြီး သင်ယူလိုသည်မှာ ဝယ်ယူထားသောစာသားရေးစာများလုပ်ဆောင်နိုင်သည်။ "ဒီစာရင်းနှစ်ခုအထဲတွင်သင့်သည်ကျန့်ကွယ်လေ့ကျင်စွာ GPT-2 အတွက်သုံးသင့်သော ဒေတာနံပါတ်နှင့် အကြောင်းအရာရင်းအလယ်ကြည့်သောအခွင့်နှင့်အတူပါပဲဖြစ်သည်။" စာသားသည်တို့ထိန်းသတ်မှုအချိန်ရရှိပါသည်။

GPT-3 အဖြစ်ပါဝင်တဲ့ ၁၇၅ သိန်းနံပါတ်ဖြစ်သည်မှာ "မက်ယခင်နှင့်အခြားအချိန်ချမှန်းပေး" ကို ရေးစင်ပါသည်။ မက်ယခင် GPT နမူနာကို ကွန်ယက်ကို အလိုအလျောက်မှသာအောက်ကလစ်နှင့်သတ်မှတ်ထားသည့် အပါအဝင်ကို ပြင်ဆင်နိုင်သည်။ဥပမာ- ထပ်မံမိဖွယ်လိုများစွာ လုပ်ထားသည့် အကြောင်းအရာကို အရမ်းလိုက်စွာ ပြပါ။ GPT-3 ကသင်မနေဖြင့်မထပ်ကြေားသော အကြောင်းအရာကိုမပြင်ဆင်နိုင်သည့်စကားလုံးကို ပြပါလိမ့်မည်ဟု စီစဉ်မှန်ကန်ပြီး သင်တန်းကစားနိုင်သည့် အကြောင်းအရာကို ထပ်မံထားသည့်အထိ GPT-3 မှာ အကြောင်းအရာကို ပြပေးသွားသည်ကိုပြပါလိမ့်မည်။

GPT-3သည် တစ်ခုအကြား prompt ဖြင့်တစ်ရက်တဲ့ အမြင့်အသုံးပြုနိုင်သောလိုင်းကွေးရခွင့်မဟုတ်ပဲဖြစ်သည်။ တစ်ခုရဲ့အကြောင်းအတာနက် Transformer တခုအတွင်းသာ ထိန်းကျွတ်တစ်ရက်တဲ့တခုယူသောအရပ်တွင်သာအမြင့်အသုံးပြုနိုင်ပါသည်။ အထိမ်းအမေးနှင့် GPT-3သည် စကားပြောအောင်အရှိလိုသည်မျှော်စွာ အာဖြတ်နည်းစေရန် ထူကျွေးငွေထုတ်ယူလေ့ရှိသည်ဖြစ်သည်။ အနှောတွင်းတစ်ခုအတွက်ကျန်းမာရေးကို မပြုမီးစွာရှာစေရန်နေပြီးမှတ်သားရန် မဟုတ်ပါ။

နောက်ပိုင်းအဆိုတော်ကို သင့်ရဲ့ ဖတ်ရှုလိုင်းအထိမ်းဆီကို ဤနေရာအတွင်း ပြုပြင်နေပါသည်။ GPT-3 ကိုအသုံးပြုသွင်းရန်နှင့် ဖော်ပြပါစေချင်းအကြောင်းအရာများကို ရောက်တွင်ရှိနေပြီး ကျန်ရှိင်းပုံများကို ကြုံတွေ့ရန်ဖြစ်စေသည်။ စနစ်များ၏မရပ်ရန်ကို အကြောင်းအရာ၊ အချက်အလက်များကို ဖော်ပြထားသည့် ကိန်းဂဏန်းများနှင့်တောင် ဘာသာပြန်စာများ အမှတ်တရ အဆင်မပြေစေသည်။

"GPT-3 ရဲ့အတွက် နှင်းကျင်းပြီး GPT-2 နှင့်အတူပင်မလုပ်ရင်ခွင့်ပြုပါသည်ကြောင့်မဟုတ်ကောင်းမှမစည်းတိုးကြီးမှုအဆင့်ဆင့်ချိတ်ဆချိသောကြောင့်ကိုရှင်းခွင့်ပြုရန်စနစ်မျှမရှိသောအချက်များကိုရှောက်ရန်လိုအပ်သည်။"

သက်ဆိုင်ရာတစ်ခါတည်းဖြစ်စေရန်မရှိမချင်းကို Adversarial NLI လုပ်သင့်မလိုအောင်လုပ်ထားရသည်။ NLI ကိုတစ်ခါလည်း ဘာသာစကားအစီအစဉ်ပေါင်းကို အနည်းဆုံးစကား၊ မကြာမောင်းဖြန့်ဝေတဲ့ကလစ်ပြန်တဲ့ရာတွင် algorithm ကိုအားသိချင်ရေးထားရန်လုပ်ထားသည်။ Facebook နှင့် University of North Carolina မှာကြိုးစားထားသည့်ရာတွင် ပုံမှန်သက်ဆိုင်ရာ ဖောင်အချက်ကျသင့်လည်း သင်ကြားတဲ့အတွက် စေရန်ကျန်းမာရေးနှလုပ်ထားသင့်သည်။

GPT-3 လျှောင်းကနေ Adversarial NLI နှင့်စားသံကိုမှန်ကန်ပြီး "ဆေးာက်တွင်အရေးကွန်းမရှိပါ" ဆိုတဲ့စာကြောင်းကိုဖော်ပြပေးခြင်းကို ရေးသားခဲ့ဖူးသည်။ ပေါ်တွင်လျှောင်းသစ်အချိန်ကို 175 သို့ထိပ်ထားခြင်းဖြင့် ဖြစ်ပေါ်တွင်စာကြောင်းတို့သည်အချိန်မှာ အလွန်ဆုတ်မသိတဲ့အခါတို့ လုပ်ဆောင်ကြသည်။

ဒီအခါမှာ မှားယွင်းနေသည့် အကြံဆပ်နှင့် ခေါင်းစဉ်ထပ်ကြောင်းတွေကို အပေးနေသည်ကို တင်သွင်းလိုက်သည်။ ဒါဆိုကြောင့် အကောင့်သိရှိင်ရှင်းလိုက်သော အကြောအထိပေါင်းကောင်းတွေကို မဟုတ်သောရှိစေသည်ကို ထိရှွေ့ခဲ့သည်။

ကျွန်ုပ်တို့ရဲ့ အပြောင်းအလဲမကြားလေ့လာထားသော နေထိုင်ရာကျွန်ုပ်ကို မသိရှိသော လေ့လာရမည့်အရာတက်ကြွသည် အပြင်းအလဲမနှင်သက်ဆိုင်သော အရာတက်သည်တွင် တက်ရောက်ပေးနိုင်ပါသည်။

"စနစ်မတွေ့ခင်းကိုက်င့်ဟာကိုယ်အနုပညာများကို မှန်ရက်ကျော်လွန်းရှိမှုရဲ့ ကြိုးစားတင်ရန်ဖြစ်သည်," သူတို့ကိုယ့်မလိုအပ်သင့် "အကောင်အထည်းပြည့်အောင်လိုပင်ခွဲမှုနှင့်သိရှိလိုက်နည်း မှာမြင်ရုံအတွက်မှာအထွော်ကြောင့်ကမှာခြင်းဖြစ်သည်။ ရှေ့မလိုနည်းအတွက် အင်္ဂလိပ်လိုအပ်သော စကားလုံးအချိန်များကို မှတ်စုံပြနိုင်ရန် မသွားမှီကြောင့်သင့် ဘုန်ကိုယ်တိုင်ခယင်ကို ရယူနိုင်ရတဲ့ သည်မှသင်ရယူနိုင်ရန်စိန်ၑာယ်အင်းအားကြီးတွင်ရှစ်သင့်လိုက်နည်း ရနိုင်ရန်။"

မော်ဒယ်များသည် ယောင်တိုက်ဖျက်လိုက်ရန်အခြေခံပြန်အပ်ဖြစ်သည်ဟု တစ်ဦး၏အခမဲ့ပြောင်းလဲမှုအတွက်တော့ အခြားမရှိပါဘူး။

ကိုယ့်သုံးသပ်မှုရဲ့ အကြံပြုချက်များအား ကြောင့်မျှော်စွာ အမြင်မကျသည့်အခါမှာ အကောင့်ဆုံးကြောင့် ကျောင်းပြန်လာသည်။ GPT-3 ကနေ သုံးသပ်ခွဲပိတ်သော အကောင့်မျိုးကြောင့် 175 သိန်းဝင်းကတည်းဖြစ်ပြီး အခြားထောက်ပံ့သို့မဟုတ် အကောင်းဆုံးကြောင့် နူနေ့ကြီးသည်။ Tenstorrent ဆိုတာမှာ AI ချစ်သူတော်တဲ့အတွင်းသတ်မှတ်ထားတဲ့အရာမှာ ဂျပန်နယ်တြင်တင်ရေးလုပ်ပုံအပေါ်ယောက်ခံရပ်ကို ဖောက်သဘောဧပြီး ရည်ရွယ်သည်နောက်အထိ သင်ကြားမည်။

အမြင့်အသံပုံစံအရှိအသားတွေရှိတယ်ဆိုပါလိမ့်မယ်နော်။ အသစ်အသင့်အလင်းကို ကျွန်တော်တို့တူတယ်ဆိုပါစေ။

ဆက်စပ်များကိုလေ့လာသည်