- 雑学タンブラー/Trivia Encyclopedia

投稿者 boss2023年4月27日

ChatGPT、GPT-4 などを含む大規模な言語モデルが行うことは、まさに 1 つです。
ChatGPT などは、詩を書いたり、科学技術に関する質問に答えたり、文書を要約したり、電子メールの下書きをしたり、コードを書いたりするなど、多くのことを非常にうまく行うことができるからです。
大規模言語モデルは、インターネットからスクレイピングされた大量の情報に基づいてトレーニングされます。これには、書籍、ブログ、ニュースサイト、ウィキペディアの記事、reddit でのディスカッション、ソーシャルメディアでの会話が含まれます。
彼らは、ほぼすべてのトピックについて何十億もの会話を見てきました。
そのため、LLM は、あなたと会話しているように見える単語を生成できます。
何十億もの詩や音楽の歌詞がありとあらゆるものに使われているので、詩のようなテキストを生成できます。
何十億もの宿題とその解決策を見てきたので、宿題がわずかに異なっていても、宿題について合理的な推測を行うことができます。
何十億もの標準化されたテスト問題とその解答を見てきました。今年の SAT の問題は昨年のものとそんなに違うと本当に思いますか?
人々が休暇の計画について話しているのを見てきたので、休暇の計画に似た言葉を推測できます。
あらゆる種類のことを行う何十億ものコードの例を見てきました。コンピュータープログラマーが行うことの多くは、非常に典型的でよく理解されていることを行うためのコードの断片を、より大きなコードの塊に組み立てることです。したがって、LLM はこれらの小さな一般的なスニペットを作成できます。
何十億もの間違ったコードの例とその修正がstackoverflow.comで見られました。ええ、壊れたコードを取り込んで修正を提案することができます。
何十億もの人々が熱いストーブに触れて指を火傷したとツイートしているのを見てきたので、LLM はある程度の常識を知っています。
多くの科学論文を読んでいるため、よく知られていない科学的事実を推測することができます。
テキストをより文法的に、簡潔に、または説得力のあるものにする方法を説明し、テキストを要約し、箇条書きに書き直す人々の例を何十億も見てきました。

誇大宣伝のない大規模な言語モデルへの非常に穏やかな紹介。マークリードル | | 2023 年 4 月 | 中くらい