Хроника пикирующей в ASI нейросети компании OpenAI
🟣Июнь 2018 — выходит декодерная модель GPT, Generative Pre-trained Transformer 1. К ней выходит статья (https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf), и все даже под открытой лицензией MIT). Ее и сейчас можно загрузить из HuggingFace (https://huggingface.co/openai-community/openai-gpt) 🟣Ноябрь 2019 — выходит GPT-2! Улучшенная версия, у которой обнаруживаются способности к in-context learning: few-shot, zero-shot ("промптов еще тогда не было" — буду так это внукам рассказывать). И статья (https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf) к ней. Веса выложили (https://github.com/openai/gpt-2) в опенсорс только через полгода после анонса, лицензия — modified MIT, можно жить! 🟣Июнь 2020 — выходит GPT-3, масштабированная GPT-2. Статья выходит, веса — нет. Становится понятно, что все задачи, в общем-то, можно решать в генеративном сетапе. До SFT остается один шаг. ...