'%3e%3cpath%20d='M44.9903%203.79049V0H37.7988V3.79049H39.6445V28.2095H37.7988V32H44.9903V28.2095H43.1446V3.79049H44.9903Z'%20fill='black'/%3e%3cpath%20d='M147.5%203.79049V0H140.305V3.79049H142.151V25.1238L126.499%203.79049H127.85V0H119.298V3.79049H121.144V28.2095H119.298V32H126.493V28.2095H124.647V6.89978L140.282%2028.2095H138.948V32H147.5V28.2095H145.654V3.79049H147.5Z'%20fill='black'/%3e%3cpath%20d='M111.688%203.79049V0H87.7104V3.79049H89.5133V28.2095H87.7104V32H111.688V28.2095H93.0167V17.7351H109.232V14.1537H93.0167V3.79049H111.688Z'%20fill='black'/%3e%3cpath%20d='M28.4057%2028.2095L18.1095%203.79049H19.0357V0H11.8409V3.79049H12.767L2.47419%2028.2095H0.5V32H7.69477V28.2095H6.16221L8.34075%2023.0397H22.5358L24.7144%2028.2095H23.0137V32H30.2085V28.2095H28.4024H28.4057ZM9.88649%2019.3774L15.4399%206.20508L20.9934%2019.3774H9.88649Z'%20fill='black'/%3e%3cpath%20d='M80.1699%203.79049V0H71.6173V3.79049H73.7134L64.5972%2014.4841C64.6631%2014.8416%2064.7026%2015.2092%2064.7026%2015.5869C64.7026%2016.1703%2064.6169%2016.7301%2064.4653%2017.2629L73.7991%2028.2129H71.6205V32.0034H80.1732V28.2129H78.2484L67.9853%2015.9545L78.1693%203.79387H80.1732L80.1699%203.79049Z'%20fill='black'/%3e%3cpath%20d='M62.4711%200H55.2764V3.79049H62.4711V0Z'%20fill='black'/%3e%3cpath%20d='M62.4711%2028.2095H55.2764V32H62.4711V28.2095Z'%20fill='black'/%3e%3cpath%20d='M58.8723%209.62109C55.6589%209.62109%2053.042%2012.2953%2053.042%2015.5867C53.042%2018.8781%2055.6556%2021.5524%2058.8723%2021.5524C62.089%2021.5524%2064.7026%2018.8781%2064.7026%2015.5867C64.7026%2012.2953%2062.089%209.62109%2058.8723%209.62109Z'%20fill='%23E60012'/%3e%3c/g%3e%3cdefs%3e%3cclipPath%20id='clip0_2422_1755'%3e%3crect%20width='147'%20height='32'%20fill='white'%20transform='translate(0.5)'/%3e%3c/clipPath%3e%3c/defs%3e%3c/svg%3e)
人とLLMの実際のチャット履歴から抽出した1,024のリアルなタスクでClaude 3などを評価した結果 | AIDB
テキスト生成
更新日2024.08.13
生成AI女子あいちゃん
現実のユーザーからの難しいクエリを使用してLLMの性能を評価する自動評価フレームワークが開発されました。100万以上の人間とチャットボットの会話ログから厳選された1,024のタスクを使用するというユニークな取り組みです。
この記事をシェアする
人とLLMの実際のチャット履歴から抽出した1,024のリアルなタスクでClaude 3などを評価した結果 | AIDB
更新日2024.08.13
生成AI女子あいちゃん
現実のユーザーからの難しいクエリを使用してLLMの性能を評価する自動評価フレームワークが開発されました。100万以上の人間とチャットボットの会話ログから厳選された1,024のタスクを使用するというユニークな取り組みです。
この記事をシェアする
