![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
#author("2024-04-27T23:38:25+09:00","default:irrp","irrp") #author("2024-04-30T22:34:21+09:00","default:irrp","irrp") →大規模言語モデル →GPT関連 →プロンプト・エンジニアリング #contents *サブトピック [#f94b6c9e] -LLMの歴史 *モデル比較 [#i7bb04b9] -[[ChatGPTとClaude 3、どちらの日本語が上手い？比較でわかる最適な使い方 | ライフハッカー・ジャパン>https://www.lifehacker.jp/article/2404-claude3-chatgpt/]] 2024.4 -[[【随時更新】主要な大規模言語モデル比較表>https://zenn.dev/ml_bear/articles/3c5e7975f1620a]] 2024.4 -[[GPT-3.5-TurboとGPT-4-Turbo、Claude2、Claude3(Sonnet)、Claude3(Opus)、Gemini Proに同じ質問をして、回答結果を比較してみた #Python - Qiita>https://qiita.com/tatsuki-tsuchiyama/items/21a77f764ea3a07ab901]] 2024.3 -[[大規模言語モデル間の性能比較まとめ｜mah_lab / 西見 公宏｜note>https://note.com/mahlab/n/na71a267a16dc]] 2023.4 -[[Comparison of AI Models across Quality, Performance, Price | Artificial Analysis>https://artificialanalysis.ai/models]] 2024.4 *一般的な話題 [#zea23097] -[[Llama3，Phi-3などの対話型人工知能（大規模言語モデル）をパソコンで動かす #LLM - Qiita>https://qiita.com/KazuhisaFujita/items/325bc0c8c3f658d33ba7]] 2024.4 -[[LLMに完璧を求めるな！精度100%のLLMが現れない理由と適した役割を徹底解説 | WEEL>https://weel.co.jp/media/llm-accuracy/]] 2024.4 -[[小さなLLMを多数組み合わせることで、単一の巨大モデルに匹敵する可能性 | AIDB>https://ai-data-base.com/archives/64708]] 2024.4 -[[Comparison of AI Models across Quality, Performance, Price | Artificial Analysis>https://artificialanalysis.ai/models]] 2024.4 -[[【LLMの研究者向け】400本を超えるLLMに関する論文のリストを公開・更新しています #ChatGPT - Qiita>https://qiita.com/shure___/items/db9604ba092c031e48f1]] 2024.4 -[[クラウド3社で使えるマルチモーダルモデルを試してみた（Claude 3/gpt4-v/Gemini Pro Vision） #LLM - Qiita>https://qiita.com/kanuazut/items/ae954c9630c2c6a0b421]] 2024.3 -[[NVIDIA、PC上で動くカスタムAI「Chat with RTX」を無償公開 - PC Watch>https://pc.watch.impress.co.jp/docs/news/1568624.html]] 2024.2 -[[【2024年最新】共通テストを色んな生成AIに解かせてみた（ChatGPT vs Bard vs Claude2）｜株式会社LifePrompt>https://note.com/lifeprompt/n/n87f4d5510100]] 2024.1 -[[LLMのトレーニングで必要な手法「分散学習」について紹介します。 #ChatGPT - Qiita>https://qiita.com/xxyc/items/1d4247150fe99c12bb21]] 2024.1 -[[松尾研 LLM講座 講義コンテンツ | 東京大学松尾研究室 - Matsuo Lab>https://weblab.t.u-tokyo.ac.jp/llm_contents/]] 2023.12 -[[[まとめ]LLMへ至る道~24本分のブログをまとめるとこうなります~[25日目] | DevelopersIO>https://dev.classmethod.jp/articles/road-to-llm-advent-calendar-2023-25/]] 2023.12 -[[LLMの出力における問題は「LLMの処理が原因」とは限らない プロンプト以外に考えられる4つの要因 - ログミーTech>https://logmi.jp/tech/articles/329782]] 2023.12 --前処理での欠損・毀損(LangChainの誤動作) --検索での欠損...チャンク選択のミス --結果をまとめる際の欠損・毀損 -[[Generative AI for Everyoneから、古のNLPエンジニアの心に刺さったこと8選｜べいえりあ>https://note.com/csstudyabroad/n/n5aba3a708f3a]] 2023.12 -[[マルチモーダルLLMの応用動向の論文調査 - Speaker Deck>https://speakerdeck.com/masatoto/marutimodarullmnoying-yong-dong-xiang]] 2023.12 -[[OpenGPTs への長期記憶の追加｜npaka>https://note.com/npaka/n/n8ce72429bf90]] 2023.11 -[[【令和最新版】何もわからない人向けのローカル LLM 入門>https://zenn.dev/saldra/articles/201dd9e7d8c743]] 2023.11 -[[LLaVAを使っておうちのパソコンでも画像からコード生成 - きしだのHatena>https://nowokay.hatenablog.com/entry/2023/10/13/113343]] 2023.10 -[[【図解】LLMはどうやって作られてる？大規模言語モデルの開発ステップをわかりやすく解説。 - すえつぐのNLP&LLM>https://nlpillustration.tech/?p=5807]] 2023.10 -[[Google Colab で LLM-jp-13B を試す｜npaka>https://note.com/npaka/n/n60b0abf54ed5]] 2023.10 -[[【StreamingLLM】トークン数400万、小説40冊を読み込める無限LLM | WEEL>https://weel.co.jp/media/streamingllm]] 2023.10 -[[Sansan LabsのLLM活⽤から考えるLLMプロジェクトの要点整理 / LLM Project Essentials from Sansan Labs' LLM Use - Speaker Deck>https://speakerdeck.com/sansan_randd/llm-project-essentials-from-sansan-labs-llm-use]] 2023.10 -[[LLMの「創発」は幻影か | AI-SCHOLAR | AI：(人工知能)論文・技術情報メディア>https://ai-scholar.tech/articles/large-language-models/is-emergence-a-mirage]] 2023.10 -[[マッキンゼーのレポートに見る企業応用を促進する大規模言語モデルの評価方法｜piqcy>https://note.com/piqcy/n/n4b9fb23e9cbb]] 2023.10 -[[LLMは世界モデルを持ち「物事がどのように位置づけられ、時間がどのように進行するか」を理解する可能性 | AIDB>https://aiboom.net/archives/56365]] 2023.10 -[[GPTなどの大規模言語モデルは脳科学・記号論・言語学の観点で驚くほど良くできている｜梶谷健人 / Kent Kajitani>https://note.com/kajiken0630/n/na74ea75702e5]] 2023.9 -[[日本語LLMの"1トークン"は何文字相当なのか?>https://zenn.dev/akifqc/articles/8f5b65040ff57b]] 2023.9 -[[「LLMはタスク処理エンジンにすぎない」 日本マイクロソフト・エバンジェリストが語る“生成AI時代のエンジニア”に求められる能力 - ログミーTech>https://logmi.jp/tech/articles/329313]] 2023.9 -[[LLM開発のフロー | フューチャー技術ブログ>https://future-architect.github.io/articles/20230912a/]] 2023.9 -[[LLMsのチューニング手法"Prompt Tuning"について論文を読んで調べてみました！ - CCCMKホールディングス TECH Labの Tech Blog>https://techblog.cccmk.co.jp/entry/2023/09/05/144119]] 2023.9 -[[大規模言語モデル入門 / LLM introduction (SES2023) - Speaker Deck>https://speakerdeck.com/kyoun/llm-introduction-ses2023]] 2023.9 -[[「わたしの話」を体系的に覚えてもらいながらLLMと会話する技術MemoChat登場 | AIDB>https://aiboom.net/archives/54560]] 2023.8 -[[エンジニアはLLMとどう付き合うか / How engineer get along with LLM - Speaker Deck>https://speakerdeck.com/kishida/how-engineer-get-along-with-llm]] 2023.7 -[[PythonでChatGPTとBardを対話させてみた…ChatGptさんGoogle AIと会話していることを認識してしまう - Qiita>https://qiita.com/foo4/items/f5e05f7601383d988459]] 2023.7 -[[数値で整理する大規模言語モデル(LLM) のメモ | ドクセル>https://www.docswell.com/s/KanHatakeyama/ZEN8V6-2023-07-06-110038#p1]] 2023.7 -[[“PCで自宅ChatGPT”がかなり手軽に！ GUIで簡単導入でき日本語もOKの「Text generation web UI」【イニシャルB】 - INTERNET Watch>https://internet.watch.impress.co.jp/docs/column/shimizu/1510290.html]] 2023.7 -[[最近公開された日本語LLMを要約生成タスクで検証してみる｜朝日新聞社 メディア研究開発センター>https://note.com/asahi_ictrad/n/n4acbc964504f]] 2023.6 -[[Azure OpenAIをもちいたLLMアプリの企画から本番構築までの道のり/Microsoft Build Japan - Speaker Deck>https://speakerdeck.com/yoshidashingo/microsoft-build-japan]] 2023.6 -[[大規模言語モデルの中身を覗いてみよう / look inside Large Language Models - Speaker Deck>https://speakerdeck.com/ae14watanabe/look-inside-large-language-models]] 2023.6 -[[大規模言語モデル (LLM) の進化: GPT 以降の最新動向 / AWS Dev Day 2023 - Evolution of LLM since GPT - Speaker Deck>https://speakerdeck.com/hariby/aws-dev-day-2023-evolution-of-llm-since-gpt]] 2023.6 -[[大規模自然言語モデル(LLM)をお試し利用できるツールを作ってみた - Platinum Data Blog by BrainPad>https://blog.brainpad.co.jp/entry/2023/06/21/153039]] 2023.6 -[[大規模AIモデルの時代は終わった | AI専門ニュースメディア AINOW>https://ainow.ai/2023/06/14/273829/]] 2023.6 -[[ローカルLLMの情報まとめ｜npaka>https://note.com/npaka/n/nd95fba328b65]] 2023.6 -[[GPU不要・メモリ16GBの本当の一般家庭PCでチャットAIを動作させるライブラリ「GGML」が鋭意開発中、すでにRaspberry Piで音声認識AIを動作させるデモも登場済み - GIGAZINE>https://gigazine.net/news/20230607-ggml/]] 2023.6 -[[GPT-4登場以降に出てきたChatGPT/LLMに関する論文や技術の振り返り - Platinum Data Blog by BrainPad>https://blog.brainpad.co.jp/entry/2023/06/05/153034]] 2023.6 -[[ChatGPTなどの大規模言語モデルはどんな理論で成立したのか？重要論文24個まとめ - GIGAZINE>https://gigazine.net/news/20230604-large-language-model-paper/]] 2023.6 -[[GPUメモリが小さくてもパラメーター数が大きい言語モデルをトレーニング可能になる手法「QLoRA」が登場、一体どんな手法なのか？ - GIGAZINE>https://gigazine.net/news/20230603-qlora-finetuning-llm/]] 2023.6 -[[【一撃でわかる】大規模言語モデル(LLM)とは。自然言語処理の基礎からわかりやすく徹底解説。 - すえつぐのNLP&G>https://nlpillustration.tech/?p=5201]] 2023.5 -[[独自のデータセットでGPTのような大規模言語モデルを簡単にファインチューニングできるライブラリ「Lit-Parrot」をGoogle Cloud Platformで使ってみた - GIGAZINE>https://gigazine.net/news/20230531-lit-parrot/]] 2023.5 -[[【書籍】大規模言語モデルは新たな知能か――ChatGPTが変えた世界 (岩波科学ライブラリー) >https://amzn.to/3qgCViz]] 2023.5 -[[東北大学NLPグループの言語モデルをとりあえず動かす - きしだのHatena>https://nowokay.hatenablog.com/entry/2023/05/19/153556]] 2023.5 -[[オープンなLLMをDockerで動かす>https://zenn.dev/karaage0703/articles/2b753b4dc26471]] 2023.5 -[[LLMとプログラミングを調和させるライブラリ、Marvinを体験してみました。｜はまち>https://note.com/hamachi_jp/n/na1960fc9d6d3]] 2023.5 -[[文系非エンジニアがChatGPT / LLMを数式なしで解説してみる｜Yuichiro.ito@Finatext(フィナテキスト)>https://note.com/110_110_110/n/n22d8c338163b]] 2023.5 -[[Google Japan Blog: Bard が日本語に対応>https://japan.googleblog.com/2023/05/bard.html]] 2023.5 -[[今日の論文2023/04/29,30：The Geometry of Multilingual Language Model Representations - izmyonの日記>https://izmyon.hatenablog.com/entry/2023/04/30/230245]] 2023.4 -[[大規模言語モデルを自社でトレーニング＆活用する方法｜mah_lab / 西見 公宏｜note>https://note.com/mahlab/n/n15969add8558]] 2023.4 -[[大規模言語モデルのための強化学習｜npaka｜note>https://note.com/npaka/n/ne6d2e7e076ea]] 2023.4 -[[How Do We Fix and Update Large Language Models?>https://hai.stanford.edu/news/how-do-we-fix-and-update-large-language-models]] 2023.4 -[[大規模言語モデルをだます Hindsight Neglect タスクとは | 楽しみながら理解するAI・機械学習入門>https://data-analytics.fun/2023/04/23/understanding-hindsight-neglect/]] 2023.4 -[[ChatGPTとBardの対決を超える“事件”。無料の｢StableLM｣登場で｢AIの超民主化｣争いが始まった | Business Insider Japan>https://www.businessinsider.jp/post-269014]] 2023.4 -[[Stable Diffusion開発元、独自の大規模言語モデル「StableLM」をGitHubで公開し、商用利用も可能。チャットAI「StableChat」は数カ月後 | テクノエッジ TechnoEdge>https://www.techno-edge.net/article/2023/04/20/1189.html]] 2023.4 -[[Building LLM applications for production>https://huyenchip.com/2023/04/11/llm-engineering.html]] 2023.4 -[[ChatGPTなどに使われる大規模言語モデルを従来のシステムよりも15倍高速・低コストで学習できる「DeepSpeed-Chat」をMicrosoftが公開 - GIGAZINE>https://gigazine.net/news/20230413-deepspeed-chat-chatgpt/]] 2023.4 --[[DeepSpeed/blogs/deepspeed-chat/japanese at master · microsoft/DeepSpeed · GitHub>https://github.com/microsoft/DeepSpeed/tree/master/blogs/deepspeed-chat/japanese]] 2023.4 -[[メモリを追加して64GBになったので動かせなかった言語モデルを試した - きしだのHatena>https://nowokay.hatenablog.com/entry/2023/04/05/213842]] 2023.4 -[[LLMがなぜ大事なのか?経営者の視点で考える波の待ち受け方｜福島良典 | LayerX>https://comemo.nikkei.com/n/nf3132b57539c]] 2023.3 --[[LayerX LLM Labsチームを立ち上げます - LayerX エンジニアブログ>https://tech.layerx.co.jp/entry/2023/04/04/110000]] 2023.4 -[[マルチレイヤーLLMでAIアシスタントの未来を切り拓く - Qiita>https://qiita.com/yakigac/items/1a4e3983031f385719e4]] 2023.4 -[[LLMが変える、ユーザインターフェースの未来｜Dory｜note>https://note.com/dory111111/n/nf3c707c0bb5b]] 2023.4 -[[大規模言語モデルの知識を補完するための Retriever の紹介 - ACES エンジニアブログ>https://tech.acesinc.co.jp/entry/2023/03/31/121001]] 2023.3 -[[大規模言語モデルの驚異と脅威 - Speaker Deck>https://speakerdeck.com/chokkan/20230327_riken_llm]] 2023.3 -[[AIによる「大規模言語モデル」の最新潮流、日本が世界No.1になるための勝ち筋とは〜Shane Gu×スプツニ子！×松尾豊×山田敦×上野山勝也 - YouTube>https://www.youtube.com/watch?v=C-HqDod73xE]] 2023.3 -[[ChatGPTや大規模言語モデルによる変化とソフトウェア開発の雑感｜Matsumoto Yuki｜note>https://note.com/y_matsuwitter/n/nb9a49086147a]] 2023.3 -[[Large Language Models and Where to Use Them: Part 1>https://txt.cohere.ai/llm-use-cases/]] 2022.9 -[[Are Large Language Models Sentient? | by Naim Kabir | Jun, 2022 | Level Up Coding>https://levelup.gitconnected.com/are-large-language-models-sentient-d11b18ef0a0a]] 2022.6 -[[【日本語モデル付き】2021年に自然言語処理をする人にお勧めしたい事前学習済みモデル - Qiita>https://qiita.com/sonoisa/items/a9af64ff641f0bbfed44#2-%E3%83%8B%E3%83%A5%E3%83%BC%E3%82%B9%E8%A8%98%E4%BA%8B%E3%81%AE%E3%82%BF%E3%82%A4%E3%83%88%E3%83%AB%E7%94%9F%E6%88%90%E4%B8%80%E7%A8%AE%E3%81%AE%E6%96%87%E7%AB%A0%E8%A6%81%E7%B4%84]] 2021 -[[フリーで使える日本語の主な大規模言語モデルまとめ>https://zenn.dev/hellorusk/articles/ddee520a5e4318]] 2022.4 *大規模言語モデルと法律 [#i0742ac2] -[[LLM技術と外部データ活用による検索・回答精度向上手法（ファインチューニング、セマンティック検索、In-Context Learning、RAG）と著作権侵害｜知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】>https://storialaw.jp/blog/10203]] 2023.11 -[[【連載1】大規模言語モデル（LLM）のビジネス利用に関して注意すべき点-LLMの使用許諾条件- - Platinum Data Blog by BrainPad>https://blog.brainpad.co.jp/entry/2023/05/16/153000]] 2023.5 --[[【連載2】大規模言語モデル（LLM）のビジネス利用に関して注意すべき点-個人情報や営業秘密等の保護- - Platinum Data Blog by BrainPad>https://blog.brainpad.co.jp/entry/2023/05/17/161613]] 2023.5 --[[【連載3】大規模言語モデル（LLM）のビジネス利用に関して注意すべき点-著作権の侵害リスク- - Platinum Data Blog by BrainPad>https://blog.brainpad.co.jp/entry/2023/05/23/153826]] 2023.5 --[[【連載4】大規模言語モデル（LLM）のビジネス利用に関して注意すべき点-海外の法規制- - Platinum Data Blog by BrainPad>https://blog.brainpad.co.jp/entry/2023/05/24/155316]] 2023.5
