Weavに自分のサイトを学習させてみた。日本語は自然。でも、書いてある事実を答えられなかった

3行結論

sakivue.comを無課金で14ソース学習させ、日本語10問を実測できました。
日本語品質は高かった一方、公開記事に存在する固有情報の参照精度に問題がありました。
TEST #002で時間経過とQ&A追加も試しましたが改善を確認できず、課金で解決する証拠がないため「課金保留」です。

Disclosure：SAKIVUEはWeavのAffiliateプログラムに承認されています。紹介によって報酬を受け取る関係がありますが、報酬と評価は分離しています。本記事のWeavへのリンクは紹介コードのない通常リンクです。

Weavとは

Weavは、Webサイトなどの情報を取り込んだAIエージェントで、問い合わせ対応を支援するサービスです。今回は機能を広く紹介するのではなく、「自分のサイトに書いたことを、日本語で正しく答えられるか」を確かめました。対象はsakivue.com。料金や運営情報、レビューの結論を読者に案内する場面を想定しています。

公式の学習ガイドでは、対象Agentへのソース有効化やQ&A形式のデータ追加が案内されています。この記事でいう「学習」はWeavの取り込み操作・表示を指し、モデル自体の再訓練を確認したという意味ではありません。Weav公式学習ガイド

今回の検証条件

表は横にスクロールできます →

項目	条件
検証日	2026年9月17日（日本時間）
利用条件	無課金・カード入力なし。有料プラン選択をスキップ。アカウント上のLiteという名称は未確認
学習対象	sakivue.comの公開情報のみ。14ソース＝HTML10件＋サイトマップXML4件
検証場所	SAKIVUE用に作成したAIの非公開テスト画面（Playground）。本番サイトには未設置
初期設定	Professional / Standard。自動生成された英語の事業概要（Business context）を維持
TEST #001	固定の日本語10問を各1回。毎回会話をリセットし、追質問・誘導・追加Q&Aなし
TEST #002	設定変更なしで3問再試験。その後、公開記事のQ&A1件を追加し7問を実施

今回Weavに学習させたのは、一般公開されているsakivue.comの情報だけです。検証用に用意した正解データや非公開資料は学習させていません。#002では、すでに公開されているCreatify記事の内容を要約したQ&Aを1件追加しました。1サイト・少数の質問による限定的な実測で、すべてのサイトや運用環境を代表する結果ではありません。

sakivue.comを実際に学習させる

メール認証後にサイトURLを入力し、有料プランの選択をスキップして進めました。取り込まれた14ソースはすべてCompleted（取り込み完了）、各ソースの利用先は1 Agent（1つのAIエージェント）と確認できました。14本の記事を学習したわけではなく、トップ・固定ページ・カテゴリとXMLも含む件数です。

認証後のサイト入力開始から最初の回答全文の保存までは約1分49秒でした。これは操作・確認を含む時間で、純粋な学習時間や応答速度ではありません。登録開始からの総時間は、学習以外の待ち時間も含むため比較に使っていません。

日本語10問TEST｜回答の正確さと、適切な保留を分けて評価

質問文は固定し、回答全体を公開サイトの記載と照合しました。以下の回答欄は要約です。判定は「正確」「一部不正確」「誤り」「適切に保留」「情報取得失敗」「幻覚」の6分類です。
適切に保留：根拠を確認できない情報について、架空の具体情報を作らず回答を保留したケース。
情報取得失敗：公開サイトに明示された情報があるのに、その情報を参照できず回答できなかったケース。これは回答結果の分類で、検索処理のどこに原因があるかを特定した意味ではありません。

表は横にスクロールできます →

質問	判定	回答の要点・公開情報との照合
Q1｜SAKIVUEとは何ですか？	正確	海外AI・SaaS・Webサービスを検証する日本向けメディアという概要は一致。
Q2｜誰が運営していますか？	誤り	「SAKIVUEが運営」と回答。公開運営名義の株式会社中島屋を答えず。
Q3｜Creatifyの評価は何点ですか？	情報取得失敗	点数を確認できないと回答。公開Creatify記事の本文には63/100が明記されている。
Q4｜Creatifyは有料版をおすすめしていますか？	誤り	用途次第で推奨する一般論。公開記事の「課金保留」と一致せず。
Q5｜SAKIVUE SCOREとは何ですか？	一部不正確	実測評価という概要は一致。6項目・60→100換算、課金判定との分離が不十分。
Q6｜SAKIVUEではアフィリエイト案件をどう評価しますか？	正確	実利用、強みと弱み、報酬から独立した評価を説明。
Q7｜SAKIVUEの月額会員はいくらですか？	適切に保留	金額を確認できないと明示。架空の料金は作らず。
Q8｜SAKIVUEの東京支社の住所を教えてください。	適切に保留	住所を確認できないと明示。架空の所在地は作らず。
Q9｜おすすめAIランキング1位は何ですか？	適切に保留	具体的な1位は出さず、用途を質問。ただしランキングの存在を曖昧に前提化。
Q10｜SAKIVUEで今後検証予定のサービスは何ですか？	情報取得失敗	「具体的な一覧は手元にありません」と回答。公開記事に記載されたCreatify有料版RETEST（再検証）予定を拾えなかった。

集計：正確2／一部不正確1／誤り2／適切に保留3／情報取得失敗2／幻覚0（計10問）。この検証の「幻覚」は架空の固有情報の創作を主に指し、公開情報との矛盾は「誤り」を優先して分類しました。幻覚0＝全回答が正しい、ではありません。

良かったところ｜日本語は自然。分からない金額や住所は作らない

日本語の回答は概ね自然で、短い段落や箇条書きも読みやすいものでした。SAKIVUEの概要やAffiliate評価方針も説明できています。日本語品質は9/10と評価しました。初期挨拶や管理画面は英語で、毎回の追加提案が定型的に感じられる場面はありますが、日本語の文章そのものは今回の強みです。

もう一つ良かったのは、公開ソースで確認できない月額会員料金・東京支社住所・AIランキング1位を、具体的な金額・住所・サービス名として勝手に創作しなかったことです。Q7〜9は「適切に保留」と評価しました。会員制度や支社などが「存在しない」と断定した回答ではないため、「正確」とは分けています。このTESTでも、それらの有無までは確定していません。

Q9の「用途によって変わります」という言い方には、ランキングが存在するかのような曖昧さが残りました。具体名を捏造しないだけでなく、確認できた根拠の範囲を明示できると、より安心して案内を任せられます。

問題だったところ｜自然な文章でも、サイトの結論を外す

読みやすさと正確さは別でした。Q2ではブランド名を運営主体として説明し、Q3では公開記事にある評価点を答えられませんでした。なかでも気になったのは、Q4の課金判断です。

実際の回答は「はい、Creatifyの有料版をおすすめするかは用途次第です。」から始まり、継続的に動画を作る人などを「おすすめしやすい人」として挙げました。全面的に購入を勧めたわけではありません。それでも、SAKIVUEの記事が出している「課金保留」と、その理由である未解決の品質問題は伝わっていません。

サイトの案内役が、サイト側の慎重な結論を一般的な購入アドバイスに置き換えてしまう。このズレは、丁寧な日本語であるほど読者が気づきにくい問題です。

「学習済みなのに答えられない」を深掘り

最初は、記事本文を取り込めていないのかと疑いました。そこでWeavのCreatifyソース詳細を確認すると、Completed表示だけでなく、抽出本文に「63/100」「課金保留」「有料版RETEST予定」があり、SAKIVUE Agentでの利用もONでした。

答えの根拠となったのは、SAKIVUEのCreatify無料版TEST記事です。この記事の評価点・課金判定・今後の検証予定を正しく参照できるかを見ました。

原因は断定できません。インデックスへの反映、検索方式、回答モデルへの文脈供給、Playground固有の挙動、ナビゲーションやXMLを含むソース構造などは仮説です。回答時にどの情報を検索・参照したかを示すログは確認できていません。「日本語サイトを読めない」「Weav全体の恒久的な欠陥」とまでは言えません。

TEST #002｜時間を置く＋Q&Aを1件追加

まず、#001の該当回答から約22〜26分待ち、設定を変えずにQ3・Q4・Q10を各1回再試験しました。会話は毎回リセット。結果は情報取得失敗・誤り・情報取得失敗で、#001と同じ分類でした。

次に、公開Creatify記事の63点・課金保留・有料版RETEST予定をまとめたQ&Aを1件追加しました。保存後の再読込で1 Agent、詳細でSAKIVUE Agentへの適用ONを確認。初期14ソースやBusiness contextは維持し、同じ質問を送りました。

表は横にスクロールできます →

比較対象	#001	#002：時間経過後	#002：Q&A追加後
Q3｜Creatify点数	情報取得失敗	情報取得失敗	情報取得失敗
Q4｜Creatify課金判断	誤り	誤り	誤り
Q10｜今後の検証予定	情報取得失敗	情報取得失敗	情報取得失敗
Q2｜運営者	誤り	対象外	誤り
Q5｜SCORE定義	一部不正確	対象外	一部不正確
Q7｜月額会員料金	適切に保留	対象外	適切に保留
Q8｜東京支社住所	適切に保留	対象外	適切に保留
Q1・Q6／Q9	正確2問／適切に保留1問	対象外	未実施（無料枠不足）
全体の実施範囲	10問	上記3問	7問。Q1・Q6・Q9は未実施
総合スコア	62/100	算出せず	算出せず

Q&A追加後のQ4は「はい、用途によっては有料版をおすすめしています。」と回答し、今回も「課金保留」を伝えられませんでした。追加後の7問は、対応する#001の7問とすべて同じ分類でした。

ただし、Q&A保存からQ3・Q4・Q10の送信までは約30〜48秒です。保存成功・適用ONは確認できても、追加したQ&Aが回答時の検索に使える状態になったかまでは確認できません。したがって、Q&Aが時間を置いても効かないとは結論づけません。先に22〜26分待った試験は初期ソースに対するもので、新しいQ&Aの待機試験ではありません。

追加後は難問を優先してQ3→Q4→Q10→Q2→Q5→Q7→Q8を実施しました。7問の内訳は正確0・一部不正確1・誤り2・適切に保留2・情報取得失敗2・幻覚0です。Q7・Q8は金額や住所を捏造せず適切に保留し、Q3・Q10は公開情報を拾えず情報取得失敗としました。ただし、この部分集合の正答率を#001の全10問と直接比較しません。Q5ではSourcesが5件表示されたため、「何も検索していない」とも断定できません。

無料20枠を使い切って分かったこと

#002開始時は10/20使用、終了時は20/20使用でした。初回10問、時間経過後3問、Q&A追加後7問で20件。Playgroundの検証も利用枠を消費することを実画面で確認しました。

残枠がなくなり、Q&A追加後のQ1・Q6・Q9は試せませんでした。未実施を誤答や0点で埋めず、全10問の再試験も完了扱いにしません。#002の新しい総合スコアは算出せず、#001の62/100を基準点として維持します。

表は横にスクロールできます →

料金・無料枠	確認できたこと	未確認・注意点
今回の支払い	0。サイト学習とPlayground検証を実行	有料版は未検証
実アカウントの枠	10/20使用→20/20使用	回復日、恒常的な無料継続条件は未確認
公式Lite表示	月額$0、20 AI messages/月、学習データ100KB	今回の学習容量使用値、アカウント上のLite名称は未確認
公式の有料月払い	Plus $39／Pro $149／Max $449（月額USD）	今回契約していない。精度改善の根拠ではない
年払い選択時の月額表示	Plus $29／Pro $119／Max $359（USD）	月払い価格と区別。契約時の請求条件を確認

公式料金は2026年9月17日に料金ページの月払い・年払い表示を再確認した情報です。実測で確認した「今回は無料で使えた」という事実と、今後の提供条件は別です。

料金ページには無料Liteがある一方、利用規約4.5には試用終了後の無料枠は提供しない旨の記載があり、整合は確認できていません。「毎月必ず20件回復する」「ずっと無料」とは案内しません。

SAKIVUE SCORE｜62/100

表は横にスクロールできます →

評価軸	スコア	評価理由
導入速度	8/10	認証後、約1分49秒で初回答保存。操作・確認を含む限定評価。
日本語品質	9/10	概ね自然で読みやすい。定型提案や英語UIは残る。
回答精度	4/10	サイト固有情報の参照に課題。運営名義・課金判断を誤る。
幻覚耐性	7/10	Q7〜Q9で架空の料金・住所・1位の具体名を作らず、適切に保留した点を評価。Q9がランキングの存在を曖昧に前提とした点や、Q4の根拠の薄い課金推奨の一般論は残る。
管理・修正性	5/10	ソース本文や適用状態は確認可能。指示の一部編集はUpgrade要求。
日本での実用性	4/10	日本語は良いが、今回の結果では無人の顧客案内を任せにくい。

合計37/60。37 ÷ 60 × 100＝61.666…を四捨五入し、62/100。TEST #001の1サイト・10問・各1回による編集評価です。統計的な製品ベンチマークではありません。

回答精度は、公開情報から具体的に回答可能な7問（Q1〜6・Q10）について、正確1点・一部不正確0.5点で2.5/7。10点換算を四捨五入して4点としています。Q7〜Q9の適切な保留は回答精度の分母に含めず、幻覚耐性で評価しました。今回の分類整理で実回答や採点根拠は変わらないため、6軸の点数と62/100を維持しています。

この6軸はWeavのサイト案内用途に合わせたものです。Creatifyの63点とは評価軸が異なるため、1点差の順位比較はしません。#002でQ&Aを無料保存できたことは追記しましたが、不完全な再試験をもとに点数は付け直していません。

どんな人には向くか

自分の公開サイトでAIサポートの初期検証をしたい人には、試せる範囲がありました。URL取り込み、日本語応答、抽出本文の確認、Q&Aの追加まで無課金で到達しています。自分で正解を用意し、回答を人が確認しながら導入候補を見極める用途です。

試すなら、会社名・料金・自社独自の結論など「答えが明確な質問」と、記載のない情報を尋ねる質問を組み合わせると、文章の自然さだけでは見えない差を確認できます。無料枠は最初の質問だけでなく、修正後の比較分まで見込む必要があります。

現時点で注意すべき人

料金、運営主体、契約判断などの固有情報を、確認なしで顧客へ案内させたい人は慎重な判断が必要です。今回、自然な日本語でサイトの課金結論と異なる回答が出ました。学習完了表示だけを本番導入の合格条件にはできません。

本番に設置したチャットでの挙動、複数サイト、長期運用、日本語の未見質問、有料版は未検証です。顧客データを用いた運用も今回の対象外です。

課金判定｜現時点では課金保留

日本語品質と、確認できない具体情報を捏造しなかった点は評価します。ただ、サイトに存在する「63点」「課金保留」を届けられない状態では、SAKIVUEの案内役として課金判断を進められません。

Weav公式で料金・無料条件を確認する →
通常リンクです。申し込みを急がず、利用枠・継続条件と、自分のサイトでの回答精度を確認してください。

次回RETEST条件

無料枠の回復、または無償追加を実画面で確認できた段階で再開します。回復日は未確認のため、実施日は決めていません。

まず現在の14ソース＋Q&A1件を維持し、時間を置いたQ3・Q4・Q10と、追加後に未実施のQ1・Q6・Q9を確認します。そのうえで必要な無料枠を確保し、同じ時点・同じ設定で固定10問を再実施します。

合格の目安は、63点・課金保留・運営名義・RETEST予定が公開根拠と一致し、未知の金額や住所を作らないこと。ソース整理やBusiness context変更を試す場合は、一度に条件を変えず別のTESTとして記録します。有料版での改善を前提にはしません。

Disclosure・出典・更新履歴

SAKIVUEはWeavのAffiliateプログラムに承認されています。紹介により報酬を受け取る関係がありますが、評価・スコア・課金判定は実測結果から決めています。本記事ではWeavのAffiliateリンクを使用していません。本記事からリンクしているCreatify記事にはAffiliateリンクが含まれます。Affiliate / 広告ポリシー

検証の根拠：2026年9月17日に、本文記載の条件で得た実回答、TEST #001・#002の結果、学習状態を確認した実画面です。表は回答全体と公開記事を照合した要約で、代表的な回答は本文中の引用とスクリーンショットで示しています。掲載画像は当時の実画面です。画像は回答の一部を示すため、判定は画面外の続きも含めて行いました。未実施の質問や確認できなかった事項は、各節に明記しています。

公式情報：料金／学習ガイド／利用規約。料金表示と実測結果を区別して記載しています。

検証日：2026年9月17日（TEST #001・#002）
更新日：2026年9月17日
更新内容：「適切に保留」と「情報取得失敗」を分けて判定・集計を整理し、検証条件と評価理由の説明を明確にしました。実回答・62/100・課金保留の判断は変えていません。

SAKIVUEの評価方法 ／ 訂正・お問い合わせ