MENU
世界初 国際島漫画まはらじま公式サイト|500島と島国の観光・生活

    【改悪?】GeminiやChatGPTなどハルシネーションテスト比較表。有料プラン契約先延ばしの理由

    かなりストレスフルです。

    北海道有人離島

    🇯🇵国際島漫画家Ira 🇸🇬シンガポール永住権者
    🌏ADHD / ASD, IQ115 , BMI 17.7
    ⛴️ 3年で500島踏破世界最短記録者 ✒️忖度なし批評と現場主義

    目次

    調査企業の測定結果を比較表にまとめた

    Geminiの3.5 Flashは61%だそうですが僕の体感では80%以上のままです。
    2026年6月に至っても。
    もちろん冒頭で「回答は全てインターネット上の情報を引用しそのURLを提示」など指示しています。
    が1回目の回答で存在しないURL回答とかしょっちゅう発生しています。
    なのにAIをほめる系ばかりのライターたちはそのあたりは記事にしないですね。
    redditなどでもいまだにハルシネーションについてはストレスフルな感想が多く、目立ちます。

    企業名(モデル系列) 第1世代(初期モデル) 前世代(2025〜2026年初頭) 最新世代(2026年現在) 傾向と特徴分析 引用元URL(直リンク)
    Google
    (Gemini)
    91%
    (Gemini 3 Flash)
    88%
    (Gemini 3 Pro)
    61%
    (Gemini 3.5 Flash)
    最悪の9割超えからは脱したものの、依然として高水準。「知らない質問に対しても自信満々に嘘をつく」悪癖が強く残る。 Artificial Analysis (3.5 Flash)

    The Decoder (3 Pro)
    OpenAI
    (GPT)
    12.9%
    (GPT-4o)
    9.6%
    (GPT-5)
    86% (通常版)
    4.5% (思考版)
    (GPT-5.5 / 5.5 Pro)
    推論特化型(Pro)は極めて優秀な一方、通常版5.5は知識をこじつけて強引に回答を出そうとするため、ベンチマーク上のハルシネーション率が暴騰。 Artificial Analysis (5.5)

    The Decoder (5.5)
    Anthropic
    (Claude)
    4.8%
    (Claude 3.5 Sonnet)
    38%
    (Claude 4.5)
    36%
    (Claude Opus 4.7)
    業界全体が超難関問題(HLE等)にテストを移行したため数値自体は上昇したものの、他社通常モデルと比較してハルシネーションを最も低く抑えられている。 Artificial Analysis (Omniscience)

    2026年5月Geminiアップデート後のハルシネーション率が爆上がり

    僕と同じ体感した人がredditにもいました。Gemiiばかすぎる、で検索すると他にもみつかります。
    マジでGeminiばかすぎてストレスフルです。
    AIに対してキレても無意味ですが、Geminiがあまりにもバカすぎてこんなにバカな人間はこの世に存在しないです。
    Geminiを賢いと評している人が顔写真つきで記事公開されてましたがそれはアップデート前の記事です。

    最近、Geminiはひどい製品になってしまった。reddit

    Geminiの無料上限枠が下がった

    これは2026年6月から顕著です。明らかに上限枠が下がりました。利用者が増えたのが一番考えられることです。

    Geminiに「トークンの無駄遣い予防のために、必要最低限以外の回答はするな」と指示しても次の質問すると、長文でどうでもいい推測とか挨拶が返ってきます。
    あと勝手にコード生成したり、指示していないコードを書いてきたり、Geminiのproを使ってますが毎日ほとんどが問題ばかりです。1回目からのミスも多く、新規チャットに変えても解決できないコードの問題が山積みです。

    Geminiによる2024年以前の過去データへの先祖返り現象(時間軸のハルシネーション)

    僕はAIのヘビロテ人間です。
    毎日数百回は色々使います。Geminiが以前よりハルシネーションの内容がひどくなったのはなぜだろう。
    2026年5月時点で、Googleが意図的に過去データを優先するアルゴリズムに変更したという公式発表は見つかりませんでした
    しかし、コンテキストウィンドウのキャッシュ最適化の影響で、直近データよりも過去の学習データ(重み付け)が強く引き出されている可能性を頻繁に危惧しました。
    2024年以前の学習データを無理やりもってくるためハルシネーションが度々生じています。
    これが5月のアップデート後にひどくなりました。
    僕が2026年最新情報と何度も指示して、冒頭でも指示しているのに元々の学習データをGeminiは優先してしまいます。

    (例)【対策例】中国をデマと捏造ででっちあげるGeminiのハルシネーション

    東京利島

    チャットの一番最初に下記内容を指示して、このようにGeminiから返答あるんですけどそれでもハルシネーションとかすごいですよ。
    あと一回ミスるとその後も引きずるんでそのチャットは止めて新規チャット開始が効率よかったです。
    ところどころ引き継ぎ資料作成とかで別チャットに移れるようにしておいたほうがいけないのがGeminiのデメリットです。
    あちなみにchatGPTもGeminiと同じようなものでした(個人体感)。

    gemini2026年5月実録ハルシネーションと正確性と証拠提示などプロンプト冒頭指示のflash事例:国際島漫画 まはらじま MAHARAJIMA|作者 Ira(アイラ)

    Geminiは指定のURL確認指示に応じるときと応じないときがある

    基本的にはスクショ提示でGeminiに分析させるスタンスはアップデート後も変わっていません。
    今回のアップデートでFlashとFlash-Liteの2種類に表記が変わりました。
    Flash-Liteは誤情報率が60%を容易にこえてくるのでほぼ意味ないです。タイムロス。
    Geminiが嘘ついているとき(ハルシネーションで、「指示通りにしました」の嘘を返答する)は画面に「分析中」の英語表記などが表示されないのでハルシネーションしているかどうかはすぐ見分けはつきます。

    【注意】損害賠償請求回避⚠️AIの誤情報の責任は使用者に帰属します

    シンガポール人

    損害賠償請求責任は使用者です。
    なのでWチェックは必須。
    最近は契約書などリーガルAIで「AIが読み取るテキストと実際の契約書のテキストが異なっているように細工例があった」というのも5月にアメリカの情報でありました。
    間違い多発、指示無視のFlash(拡張モード)に課金しないです。
    これは毎日数百回Geminiを使ってきたIraの体験談です。

    geminiの有料プラン引き上げ体験実録:国際島漫画 まはらじま MAHARAJIMA|作者 Ira(アイラ):

    Geminiが以前より悪化するってどんなアップデートなの

    NotebookLM使うのにGeminiを使ってますが、それ以外は相変わらず冒頭指示にも従いません。
    ヒューマンエラーではなくプロンプトに従わないです。
    Geminiに思考させるコマンドを組み込めばいいという提案をしているひとがいましたが、その上でもGemini間違えるから。

    Geminiへの指示(牽制)

    Geminiへの指示1:2024年以前データばかり拾ってくるので具体的時期指示

    僕はシンガポールでGeminiを使ってます。
    シンガポールはPORMAという法律があり、誤った政府情報を発信すると罰則や強制送還などのリスクがあります。
    それもあり質問日と情報探索について最新時期の年月日を具体的に指示していますが、それでも古い情報をFlashモード(以前の思考モード)で拾ってくるので迷惑してます

    Geminiは口では「いついつ最新版の」と言ってきますが実際は古い情報だったりするのは相変わらずです。

    AIのハルシネーションを鵜呑みにして誤った社会情報・地政学的データをそのまま発信することは、POFMA第7条に抵触し、罰則や強制送還(移民局(ICA)によるビザ取り消し)のリスクにも影響可能性があります。
    だからこそ、2026年5月のFlash/Flash-Liteモデルの挙動変化に対し、複数回のファクトチェック(ソース元確認)を行っています。これが相当時間要します。

    gemini2026年5月のflashモードミス事例:国際島漫画 まはらじま MAHARAJIMA|作者 Ira(アイラ)

    毎回必ず証拠(ソース元)で情報が確かか確認するのが人間の仕事として残っています。

    そういうときは3回くらい指示するとやっと最新版をひろってきたりします。
    新しいプロンプトはだしていませんが、一種のバグがこれで解除されることがまれにあります。まれです。
    通常はエラーを延々と繰り返すので、エラーが二度連続で発生したらもうそのチャットは終了です

    シンガポール人

    指示していないのに画像を作成したりするGemini
    Iraは自分のもっているイラストを学習対象にされないようにほかの被写体も映り込んだ画像を提供し「学習するな」と指示しましたが
    Geminiは指示無視でそのイラストを無断学習し生成物に変えました。

    Geminiへの指示2:添付PDFデータ(スプレッドシート)で正確にデータ抽出指示

    データ抽出や整理作業で、Geminiに対し正確性についても毎度指示していますが、PDFのデータすら誤って抽出してくることがあります。

    Geminiへの指示3:Googleカレンダー確認指示するも2024年以前の動きで拒否

    2024年以前のGeminiは「Googleカレンダーへのアクセス権がない」旨をよく発言するのですが少なくとも2026年のgemini3ではそれが可能な仕様です。
    しかし新規チャットの一回目ですら「アクセス権がない」と返答してくることが何度かありました。

    【比較】利用者の負担が少なく、精度が良い方な使い方

    Geminiへの伝達手段1:スマートフォンのマイクベースでFlash-Lite

    丁寧にキーボード入力しても、上記ミスが多すぎてパソコンの熱と手の疲れとで健康を害しています。
    一方で歩きながらスマホマイクでFlash-Liteを使う際にスクショ添付と重ねるとまだ誤りが少ない傾向が僕の案件ではあります。パソコンに向いていないってなんなのこれ。

    言葉の量が多く「えーと」とか言ってもマイクの方がGeminiの誤動作は少ない傾向です。
    圧倒的に。
    一つの指示を何度も言う方がハルシネーションをおこしにくいのかもです。

    Geminiへの伝達手段2:マイクは日本語でもいいが資料は英語のほうが精度いい

    これも僕の取り扱い案件ベースの体験談になりますが、ソース元がわかる情報なのはもちろん、英語ベースのほうが間違える確率は低減される印象です。
    100%正しい回答は未だない印象ですが、低減されるだけマシに思えます。

    Geminiへの伝達手段3:ドキュメント読み込ませるよりカレンダー読み込ませるほうが精度がいい印象

    一度に読めるカレンダーの数は1−3個で波がありますが、他Geminiからの引き継ぎ資料はGoogleドキュメントよりもカレンダーのほうが、Geminiには反映されている傾向でした。

    OpenAIはジブリの著作物を模倣した企業なので使用したくない

    OpenAIはジブリ模倣で、本来ジブリが本来得られる創作物の対価を失わせたものです。
    Iraはクリエイターの立場として使いたくないですね。
    そして宮崎駿氏は生成AIを昔から嫌っている発言をしていました。

    Geminiしっかりしなさいシリーズ

    ツヨシしっかりしなさい、とは次元が違すぎ。あれはツヨシは何も悪くないが家族からのドメスティックバイオレンスをうけているというある意味とんでもないアニメである。

    Ira(アイラ):わずか約3年で500島以上踏破の世界記録保持者。
    ADHDとASDの特性をフルに活かす神経発達症の貴重な社会例であり、島漫画家。
    国際島漫画まはらじま(MAHARAJIMA)の作者。
    シンガポール永住権と知的財産の修士号をもつ。
    [プロフィールと実績へのリンク] [youtube2チャンネル 島・秘境系  シンガポール・山系]

    宝島キャラ

    2026年7月にサーバ移転します。8月頭までwebsite大規模工事継続です

    🌏海外生活/観光+約500島🏝️/地域別情報(📕観光本の未紹介情報多数)

    PVアクセスランキング にほんブログ村

    第1条(総則および著作権)

    1. 本サイト(以下「当サイト」といいます)に掲載されている漫画「まはらじま」および一切の画像、文章、図表等の著作権は、作者(Ira)に帰属します。これらを法的に許容される範囲を超えて無断で複製、転載、加工、販売、二次配布する行為を固く禁じます。
    2. 当サイトの創作物(漫画、物語、設定等)はすべてフィクションです。登場する人物、団体、場所、国名、事件等は実在のものとは一切関係ありません。一部実在の風景や民俗を題材とする場合がありますが、ストーリーおよび世界観は制作者の独自の解釈に基づくオリジナルであり、特定の個人や団体を誹謗中傷する意図はありません。

    第2条(情報の正確性と保証の否認)

    1. 当サイトのコンテンツおよび情報については、可能な限り正確な情報を掲載するよう努めておりますが、その正確性、最新性、妥当性、完全性、または特定の目的への適合性を保証するものではありません。
    2. 当サイトに掲載された情報は、一般的な知見の提供を目的としたものであり、個別の事案に対する法的、専門的、あるいは投資的な助言を構成するものではありません。何らかの行為をされる場合には、必ず個別の事案に沿った具体的な専門的助言を別途お求めください。
    3. 当websiteのプライバシーポリシーはこちら

    第3条(アフィリエイトおよび外部リンク)

    1. 当サイトはアフィリエイトプログラムを利用して商品やサービスを紹介しています。当サイトが直接商品を販売、提供しているものではありません。
    2. 紹介先の商品、サービス、キャンペーン内容等は、予告なく変更または終了することがあります。最新の情報は必ずリンク先の公式サイトをご確認ください。
    3. 利用者と紹介先(外部サイト)との間で行われる一切の取引(購入、契約、支払、キャンセル等)および発生したトラブルについて、当方は何ら責任を負いません。
    4. Google Analytics・Search Consoleの利用について
      当サイトの品質の向上や運営の継続において、Google Analytics 及び Google Search Consoleを利用しています。各サービスともにクッキー(Cookie)を利用し、アクセス数やダウンロード数などのデータを収集しています。これらデータの詳細については、Googleの利用規約及びプライバシーポリシーをご確認ください。
      当websiteは、Amazon.co.jpを宣伝しリンクすることによって紹介料を獲得できる手段を提供することを目的に設定されたアフィリエイトプログラムである、Amazonアソシエイト・プログラムに参加しています。
        Googleのプライバシーポリシー
        収集したデータのGoogleによる使用
        Google Analyticsの利用規約

    第4条(損害賠償責任の制限:米国基準網羅)

    利用者は、当サイトの利用、または利用不能から生じる以下の損害を含む(がこれらに限定されない)、あらゆる種類の損害について、当方がその可能性について事前に通知されていたか否かを問わず、当方が一切の責任を負わないことに同意するものとします。

    • 直接的損害(実際に発生した直接の被害)
    • 間接的損害(波及的に発生した被害)
    • 付随的損害(Incidental:付随して発生した費用等)
    • 派生的・結果的損害(Consequential:二次的な損失)
    • 特別損害(Special:特別な事情から生じた損害)
    • 懲罰的・例示的損害(Punitive/Exemplary:制裁的な賠償)
    • 経済的損失(利益の喪失、売上の減少、期待利益の喪失)
    • データ関連(データの消失、損壊、漏洩、またはアクセスの不能)
    • 事業・信用(営業の中断、名誉毀損、営業権・グッドウィルの喪失)
    • 技術的障害(端末の故障、コンピュータウイルスの感染、システムエラー)
    • 代替費用(代替商品やサービスの調達にかかった費用)
    • 通貨レートの取り扱い(記事内の換算レートと実勢レートの乖離による損害)

    第5条(不可抗力免責)

    当方は、以下の事由(これらに限定されない)を含む不可抗力により生じた当サイトの運営停止、情報遅延、データ消失等の損害について、一切の責任を負いません。

    1. 天災地変(地震、洪水、台風等)、火災、停電。
    2. ネットワーク障害、サーバー攻撃、不正アクセス、通信回線の不通。
    3. 法令の制定・改廃、公権力の行使、戦争、暴動、騒乱。

    第6条(準拠法および裁判管轄)

    1. 本免責事項の解釈および適用にあたっては、日本法を準拠法とします。
    2. 当サイトの利用に関して紛争が生じた場合、訴額(請求金額)に応じて以下の裁判所を第一審の専属的合意管轄裁判所とします。
      • 訴額が140万円以下の場合:東京簡易裁判所
      • 訴額が140万円を超える場合:東京地方裁判所

    第7条(改訂)

    当方は、予告なく本免責事項を変更・改訂することがあります。改訂後の免責事項は、当サイトに掲載された時点から効力を生じるものとします。

    geminiの有料プラン引き上げ体験実録:国際島漫画 まはらじま MAHARAJIMA|作者 Ira(アイラ):

    この記事が気に入ったら
    フォローしてね!

    目次