🟣Июнь 2018 — выходит декодерная модель GPT, Generative Pre-trained Transformer 1. К ней выходит статья (https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf), и все даже под открытой лицензией MIT).
Ее и сейчас можно загрузить из HuggingFace (https://huggingface.co/openai-community/openai-gpt)
🟣Ноябрь 2019 — выходит GPT-2! Улучшенная версия, у которой обнаруживаются способности к in-context learning: few-shot, zero-shot ("промптов еще тогда не было" — буду так это внукам рассказывать). И статья (https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf) к ней. Веса выложили (https://github.com/openai/gpt-2) в опенсорс только через полгода после анонса, лицензия — modified MIT, можно жить!
🟣Июнь 2020 — выходит GPT-3, масштабированная GPT-2. Статья выходит, веса — нет. Становится понятно, что все задачи, в общем-то, можно решать в генеративном сетапе. До SFT остается один шаг.
🌸Акт второй. Безопасность
🟣Декабрь 2020 — бунт на корабле! команда Safety и несколько ключевых людей из GPT-3 уходят и основывают Anthropic (https://aibusiness.com/verticals/eleven-openai-employees-break-off-to-establish-anthropic-raise-124m)
🟣Январь 2021 — Dalle, генерация text2image, кресло в форме авокадо
🟣Январь 2022 — Dalle 2
🟣Ноябрь 2022 — ChatGPT! сами все знаете. Месяц, когда работа NLP-шника стала уважаемой, люди стали здороваться, обнимать на улице, брататься.
🟣Март 2023 — GPT-4! И затем — мультимодальность, удешевление GPT-4 дистиллированными версиями
🟣Сентябрь 2023 — Dalle 3, автоматическая аугментация промптов за пользователя
🌸Акт третий. Масштабирование отменяется. Нас всех тошнит
🟣Октябрь 2023 — опять бунт на корабле! Сэма Альтмана увольняет борда с связи с недоверием. Параллельно начинаются проблемы с инфраструктурой, у нас в снэптаче падает прод на какое-то время.
🟣Ноябрь 2023 — Где Илья (https://analyticsindiamag.com/ai-origins-evolution/where-is-ilya/)? Суцкевер перестаёт показываться публично
🟣Январь 2024 — анонсирована SORA, революционнвя модель text2video
🟣Январь 2024— OpenAI убирает военные применения (https://www.google.com/amp/s/www.cnbc.com/amp/2024/01/16/openai-quietly-removes-ban-on-military-use-of-its-ai-tools.html) из исключений в своем кодексе
🟣Март 2024 — исход команд (https://t.me/rybolos_channel/1143)ы safety и Superalignment. Официально уходит Илья Суцкевер, апологет скейлинга. Увидим ли мы что-то действительно масштабное теперь? Не ясно.
🟣Май 2024 — выходят модели поменьше — GPT4o
🟣Июль 2024 — выходит модель еще меньше — GPT4o mini
🟣Июнь 2024 — в совете директоров появляется ЦРУ (https://openai.com/index/openai-appoints-retired-us-army-general/)
🟣Июнь 2024 — Leopold Aschenbrenner, интерн, суммарно проработавший в OpenAI полгода, выпускает Situational awareness (https://situational-awareness.ai/): 160-страничную туалетную бумагу политагитку со спекуляциями и призывами срочно обогнать плохой-плохой Китай. И некоторыми интересными внутренними оценками OpenAI относительно пути к AGI. Сей опус магнум потом запостит у себя в Твиттере Иванка Трамп. Труд нашёл свою аудиторию.
🟣Июль 2024 — Майкрософт выходит (https://www.forbes.com/sites/roberthart/2024/07/10/microsoft-quits-openai-board-as-regulators-crack-down-on-big-techs-ai-dealmaking/) из борды совета директоров OpenAI.
🟣Август 2024 — в бессрочный отпуск выходит Greg Brockman, сооснователь компании. Ещё один сооснователь, John Schulman, уходит (https://www.spiceworks.com/tech/artificial-intelligence/news/openai-undergoes-leadership-shakeup/) в Anthropic.
🟣Сентябрь 2024 — увольняется (https://techcrunch.com/2024/10/03/a-co-lead-on-sora-openais-video-generator-has-left-for-google/) основной автор SORA, Tim Brooks. SORA не выходит.
🟣Сентябрь 2024 — Выходят модели О1, O1mini. Проект, отдельный от GPT, по слухам, занявший 1.5 года.
🟣Сентябрь 2024 — Уходит (https://apnews.com/article/openai-mira-murati-quits-df75217584696b442935dbccc9b0347d) CTO Мира Мурати, в также Chief Research Officer и VP Research
🟣Сентябрь 2024 — OpenAI мeняет структуру (https://www.theguardian.com/technology/2024/sep/26/why-is-openai-planning-to-become-a-for-profit-business-and-does-it-matter) и готовится стать For profit company
🟣Октябрь 2024 — Уходит (https://t.me/rybolos_channel/1288) глава AGI Readiness.
🟣Октябрь 2024 — между OpenAI и Microsoft нарастает (https://www.nytimes.com/2024/10/17/technology/microsoft-openai-partnership-deal.html?unlocked_article_code=1.TE4.Ta8s.ThIHWUiyP9ex&smid=nytcore-ios-share&referringSource=articleShare) напряжение, Сулейман кричит на сотрудников на митингах, выч мощностей не хватает. По контракту, если OAI сделает AGI, Microsoft теряет доступ к технологиям. Но при этом Microsoft сейчас контролирует объем получаемых мощностей компании.
Комментариев нет:
Отправить комментарий
Спасибо за Ваш комментарий. ASI очень ценит его.