موتور جستجوی پشت هر هوش مصنوعی کدام است؟
فرض کنید سایت یکی از مشتریان شما برای کوئری اصلی کسب و کار در رتبه اول گوگل قرار دارد. تیم شما شش ماه روی پروژه کار کرده، ترافیک ارگانیک مناسب است و داده های سرچ کنسول نیز وضعیت خوبی را نشان می دهد. حالا همان سوال را از ChatGPT می پرسید؛ نام سه رقیب نمایش داده می شود، اما نام مشتری شما در پاسخ نیست.
این اتفاق لزوما به معنی وجود خطا نیست. دلیل اصلی این است که ChatGPT برای جستجوی وب، الزاما به همان ایندکسی متکی نیست که گوگل برای نمایش نتایج خود استفاده می کند. هر ابزار هوش مصنوعی ممکن است از موتور جستجو، ایندکس یا لایه بازیابی متفاوتی استفاده کند؛ بنابراین رتبه خوب در گوگل به تنهایی تضمین نمی کند که یک سایت در پاسخ های همه ابزارهای هوش مصنوعی دیده شود.
در این مقاله بررسی می کنیم پشت هر ابزار چه منبع جستجویی قرار دارد، کدام بخش از این اطلاعات به صورت رسمی تایید شده و کدام بخش بر پایه شواهد و بررسی های مستقل است. در پایان نیز مشخص می کنیم برای افزایش شانس دیده شدن در هر کدام چه اقداماتی می توان انجام داد.
چرا این موضوع مهم است؟
جستجوی وب در ابزارهای هوش مصنوعی با دانشی که از قبل در مدل وجود دارد متفاوت است. زمانی که مدل تصمیم می گیرد در وب جستجو کند، یک لایه بازیابی یا Retrieval اسناد مرتبط را از یک ایندکس پیدا می کند و مدل بر اساس همان اطلاعات پاسخ می سازد. اگر این لایه صفحه شما را پیدا نکند، حتی محتوای باکیفیت نیز شانس چندانی برای حضور در پاسخ نخواهد داشت.
بنابراین پیش از این سوال که «چطور برای هوش مصنوعی محتوا بنویسیم؟» باید یک سوال فنی تر مطرح شود: صفحه ما در کدام ایندکس ها حضور دارد و توسط کدام کراولرها قابل دسترسی است؟
Copilot: وابستگی مستقیم به ایندکس Bing
Copilot یکی از شفاف ترین موارد این فهرست است. پاسخ های مبتنی بر وب آن به ایندکس Bing متکی هستند و طبق راهنمای وبمستر مایکروسافت، Bing Search و Copilot Search از زیرساخت مشترکی برای کراول، ایندکس و رتبه بندی استفاده می کنند. بنابراین یکی از پیش نیازهای اصلی برای دیده شدن در استنادهای Copilot، حضور مناسب در ایندکس Bing است؛ نه صرفا رتبه بالا در گوگل.
تغییر مهم در نقش ایندکس
در ۶ مه ۲۰۲۶ مایکروسافت مطلبی در وبلاگ Bing با عنوان «نقش در حال تحول ایندکس: از رتبه بندی صفحات تا پشتیبانی از پاسخ ها» منتشر کرد. در این مطلب توضیح داده شد که جستجوی سنتی به دنبال پاسخ به این سوال است که کاربر باید کدام صفحه را ببیند، اما در سیستم های مبتنی بر هوش مصنوعی سوال متفاوتی مطرح می شود: سیستم برای ساخت یک پاسخ قابل اتکا، از کدام اطلاعات می تواند استفاده کند؟
نتیجه ای که مایکروسافت مطرح می کند این است که واحد ارزش از یک «سند کامل» به «اطلاعاتی که قابلیت استفاده در پاسخ دارند» در حال تغییر است. در این مدل، زیرساخت کراول می تواند همان زیرساخت قبلی باشد، اما شیوه انتخاب و استخراج اطلاعات متفاوت خواهد بود.
نتیجه عملی برای پروژه های سئو: ایندکس شدن به تنهایی کافی نیست. صفحه باید شامل اطلاعات روشن، مشخص، قابل استخراج و قابل استناد باشد. اگر تمام نکات مهم یک لندینگ ۲۰۰۰ کلمه ای در چند پاراگراف طولانی و پیچیده نوشته شده باشد، استخراج دقیق اطلاعات برای سیستم های پاسخ دهی دشوارتر می شود.
Gemini: استفاده از ایندکس Google
Gemini برای Grounding به زیرساخت جستجوی گوگل متکی است و همان اکوسیستم جستجو، بخش مهمی از داده مورد استفاده در AI Overviews و AI Mode را نیز تامین می کند. در نتیجه، دیده شدن در Gemini و سایر سطوح هوش مصنوعی گوگل تا حد زیادی به حضور مناسب در ایندکس گوگل و ساختار محتوایی قابل استخراج وابسته است.
برای تیم های سئو، نکته مثبت این است که بخش بزرگی از اقداماتی که برای Gemini اهمیت دارد، همان اصولی است که در سئوی گوگل انجام می شود. با این حال، ساختار محتوا باید به شکلی باشد که اطلاعات کلیدی به صورت روشن و مستقل قابل برداشت باشند.
به همین دلیل، اگر ابزاری عددی با عنوان «سهم استناد در Gemini» ارائه می کند، بهتر است پیش از اعتماد به آن مشخص شود داده از چه روشی جمع آوری شده است. اگر منبع و روش جمع آوری داده شفاف نباشد، آن عدد نمی تواند مبنای قابل اتکایی برای تصمیم گیری باشد.
Claude: شواهد قوی درباره استفاده از Brave
درباره موتور جستجوی پشت Claude اطلاعات نادرست زیادی منتشر شده است. در این بخش باید بین اطلاعات مستند و شواهد غیررسمی تفاوت قائل شد.
آنچه مستند است
Anthropic در ۱۹ مارس ۲۰۲۵ «Brave Search» را به فهرست Subprocessorهای خود اضافه کرد؛ یک روز پیش از معرفی قابلیت Web Search در Claude. سایمون ویلیسون نیز همان هفته این موضوع را به صورت مستقل بررسی کرد. او از Claude خواست درباره پلیکان جستجو کند و مشاهده کرد ده نتیجه ای که به عنوان Citation نمایش داده شدند با نتایج همان جستجو در Brave مطابقت داشتند. همچنین در تعریف تابع Web Search کلاد، پارامتری با نام BraveSearchParams دیده شده است.
آنچه به صورت رسمی تایید نشده است
Anthropic تاکنون به صورت رسمی اعلام نکرده است که موتور جستجوی اصلی پشت Claude چیست. بنابراین بیان دقیق تر این است که شواهد قوی به Brave اشاره می کنند، اما تایید رسمی و صریحی از سوی Anthropic وجود ندارد.
بررسی های جدیدتر تا جولای ۲۰۲۶ نشان می دهند Brave همچنان در فهرست Subprocessorهای Anthropic حضور دارد و برای محصولات مختلف این شرکت در نظر گرفته شده است. در همان فهرست، ارائه دهنده دیگری با نام TurboPuffer نیز برای Web Search دیده می شود که اطلاعات عمومی کمتری درباره نقش آن منتشر شده است.
چرا Claude با سایر ابزارها تفاوت دارد؟
Brave ایندکس مستقل خود را دارد و طبق اطلاعات منتشرشده، بیش از ۴۰ میلیارد صفحه را پوشش می دهد. این ایندکس به نتایج گوگل یا Bing متکی نیست. بنابراین رتبه خوب در گوگل به تنهایی تضمین نمی کند که یک سایت در پاسخ های Claude دیده شود.
از نظر اجرایی، این موضوع یک اقدام متفاوت ایجاد می کند: باید مطمئن شوید سایت برای Brave قابل کراول است و Bravebot در فایل robots.txt مسدود نشده باشد.
اهمیت ایندکس های مستقل زمانی بیشتر شد که API عمومی Bing Search در آگوست ۲۰۲۵ بازنشسته شد. همچنین Custom Search JSON API گوگل محدودیت روزانه دارد، برای مشتریان جدید بسته شده و طبق برنامه اعلام شده در اول ژانویه ۲۰۲۷ بازنشسته خواهد شد.
ChatGPT: ساختاری ترکیبی و کمتر شفاف
در مورد ChatGPT، پاسخ ساده «Bing» دیگر توضیح کاملی ارائه نمی دهد. شواهد فعلی نشان می دهند جستجوی ChatGPT از چند لایه مختلف تشکیل شده است و هر کدام از این لایه ها می توانند بر دیده شدن یک صفحه تاثیر بگذارند.
لایه اول: Bing
در زمان معرفی اولیه SearchGPT و سپس ChatGPT Search، همکاری OpenAI با مایکروسافت و استفاده از زیرساخت جستجوی Bing تایید شد. بنابراین Bing همچنان یکی از پایه های مهم برای بررسی دسترسی ChatGPT به صفحات وب است.
لایه دوم: کراولر اختصاصی OpenAI
OAI-SearchBot در مستندات OpenAI به عنوان User-Agent مربوط به جستجوی وب معرفی شده است. وظیفه آن واکشی محتوای عمومی وب برای قابلیت های جستجوی ChatGPT است.
GPTBot و OAI-SearchBot کاربرد یکسانی ندارند. GPTBot با استفاده از محتوای وب برای توسعه مدل ها مرتبط است، در حالی که OAI-SearchBot برای قابلیت های جستجوی ChatGPT استفاده می شود. مسدود کردن OAI-SearchBot می تواند مانع استفاده ChatGPT Search از محتوای سایت شود، حتی اگر صفحه در Bing رتبه مناسبی داشته باشد.
لایه سوم: شواهدی از نتایج Google
در سال ۲۰۲۵ آلیدا سولیس تستی منتشر کرد که تصویر موجود را پیچیده تر کرد. در این تست، صفحه ای جدید ایجاد شد که در Bing ایندکس نشده بود، اما ChatGPT اسنیپتی نمایش داد که با نتیجه گوگل مطابقت داشت. بررسی های دیگری نیز نتایج مشابهی گزارش کرده اند.
جمع بندی بر اساس شواهد فعلی
بر اساس اطلاعات موجود تا میانه ۲۰۲۶، منطقی ترین برداشت این است که ChatGPT از یک ساختار ترکیبی استفاده می کند و نمی توان آن را به یک ایندکس واحد محدود کرد. وابستگی به Bing کاهش یافته، اما به طور کامل حذف نشده است. در نتیجه، حضور در Bing همچنان یک شاخص پایه برای بررسی دسترسی پذیری محسوب می شود، اما به تنهایی تعیین نمی کند کدام صفحه در پاسخ ChatGPT استناد خواهد شد.
به بیان ساده، ایندکس شدن مهم است؛ اما پس از آن، کیفیت محتوا، ساختار اطلاعات و میزان مفید بودن صفحه برای پاسخ به سوال کاربر اهمیت بیشتری پیدا می کند.
Grok: ایندکس وب محدودتر و دسترسی گسترده به داده های X
Grok از بازیابی ترکیبی استفاده می کند: جستجو در وب در کنار دسترسی ویژه به داده های X. در حالت DeepSearch، فرایند بازیابی می تواند در چند مرحله انجام شود؛ مدل زیرکوئری می سازد، اطلاعات را بازیابی می کند، نتایج را ارزیابی می کند و در صورت نیاز جستجو را ادامه می دهد.
دسترسی گسترده به داده های زنده X باعث می شود الگوی Citation در Grok با بسیاری از ابزارهای دیگر متفاوت باشد. این ویژگی برای موضوعات خبری، گفتگوهای زنده و ترندها مزیت ایجاد می کند، اما در موضوعات تخصصی و Long-tail که محتوای مرتبط کمی در X دارند، ممکن است پوشش محدودتری داشته باشد.
برای درک مقیاس، در برخی منابع وب سرچ Grok با بازیابی سریع از حدود ۱۴ میلیون صفحه توصیف شده است. این عدد در مقایسه با بیش از ۴۰ میلیارد صفحه اعلام شده برای Brave بسیار کوچک تر است. در نتیجه، مزیت اصلی Grok را می توان دسترسی به داده های اجتماعی و زنده دانست، نه پوشش گسترده وب.
برای بسیاری از کسب و کارهای فارسی زبان، Grok در حال حاضر اولویت پایین تری دارد؛ مگر در پروژه هایی که مخاطب هدف آنها حضور فعالی در X دارد یا موضوع کسب و کار به اخبار و گفتگوهای روز وابسته است.
جدول جمع بندی
| ابزار | منبع جستجو | وضعیت تایید | اقدام عملی |
|---|---|---|---|
| Copilot | ایندکس Bing | رسمی | Bing Webmaster Tools + IndexNow |
| Gemini | ایندکس Google | رسمی | سئوی کلاسیک گوگل + ساختار محتوای قابل استخراج |
| ChatGPT | Bing + کراولر اختصاصی OpenAI + شواهدی از Google | نیمه رسمی | حضور در Bing + دسترسی OAI-SearchBot |
| Claude | Brave + TurboPuffer | غیررسمی با شواهد قوی | اطمینان از دسترسی Bravebot |
| Grok | کراول وب + داده های X | نیمه رسمی | حضور فعال در X برای موضوعات مرتبط |
چک لیست اجرایی برای پروژه های سئو
این موارد را می توان به چک لیست فنی پروژه ها اضافه کرد. ترتیب زیر بر اساس میزان تاثیر احتمالی و کاربرد عملی تنظیم شده است.
- فایل robots.txt را بررسی کنید. مطمئن شوید کراولرهای مهمی مانند
OAI-SearchBot،ClaudeBot،PerplexityBotوBravebotبدون دلیل مسدود نشده باشند. یک تنظیم اشتباه در این فایل می تواند دسترسی برخی سیستم های جستجوی هوش مصنوعی به سایت را محدود کند. - سایت را در Bing Webmaster Tools ثبت کنید و IndexNow را فعال کنید. این کار به دیده شدن سریع تر تغییرات سایت در اکوسیستم Bing کمک می کند و برای Copilot و بخشی از زیرساخت جستجوی ChatGPT اهمیت دارد.
- دسترسی Bravebot را بررسی کنید. با توجه به شواهد موجود درباره استفاده Claude از Brave، بهتر است مطمئن شوید سایت شما برای Brave قابل کراول و ایندکس است.
- محتوای اصلی را در HTML اولیه در دسترس قرار دهید. در سایت های مبتنی بر JavaScript باید بررسی شود که محتوای مهم فقط پس از اجرای کامل اسکریپت ها ساخته نشود. استفاده از Server-Side Rendering یا روش های مشابه می تواند دسترسی کراولرها را قابل اتکاتر کند.
- محتوا را به شکل قابل استخراج بنویسید. اطلاعات کلیدی را در جمله های روشن و مستقل بیان کنید. هر نکته مهم بهتر است بدون وابستگی زیاد به جمله های قبل و بعد قابل درک باشد تا سیستم های هوش مصنوعی بتوانند آن را دقیق تر استخراج و در پاسخ استفاده کنند.
چطور عملکرد سایت را خودتان بررسی کنید؟
به جای اتکا کامل به ابزارهای AI Visibility، می توانید برای هر پروژه یک تست ساده و قابل تکرار طراحی کنید. پنج کوئری اصلی و نزدیک به خرید را انتخاب کنید و همان سوال ها را در ابزارهای مختلف مانند ChatGPT، Gemini، Claude، Copilot و Grok بررسی کنید. سپس برای هر تست، کوئری، ابزار، سایت های Citation شده و تاریخ بررسی را ثبت کنید.
این بررسی را ماهی یک بار تکرار کنید. پس از چند ماه، یک مجموعه داده واقعی از رفتار ابزارهای هوش مصنوعی در بازار خودتان خواهید داشت؛ داده ای که برای تحلیل زبان فارسی و حوزه تخصصی پروژه شما معمولا از گزارش های عمومی ارزشمندتر است.
یک نکته مهم درباره منابع این حوزه
OpenAI و Anthropic تاکنون تمام جزئیات زیرساخت جستجوی خود را به صورت عمومی منتشر نکرده اند. به همین دلیل، بخشی از مطالب مربوط به GEO در منابع فارسی و انگلیسی بر پایه تست ها، تحلیل رفتار ابزارها و شواهد غیرمستقیم نوشته می شوند. مشکل زمانی ایجاد می شود که این شواهد به عنوان اطلاعات قطعی و رسمی ارائه شوند.
این مقاله نیز باید به صورت دوره ای به روز شود. اگر Anthropic ارائه دهنده جستجوی خود را تغییر دهد، OpenAI ایندکس اختصاصی خود را توسعه دهد یا سیاست های دسترسی کراولرها تغییر کند، بخشی از نتیجه گیری های فعلی نیاز به بازبینی خواهد داشت. بهتر است تاریخ آخرین بررسی مقاله مشخص باشد و هر سه ماه یک بار منابع اصلی دوباره کنترل شوند.
منابع
- منبع اولیه Anthropic Trust Center: Brave Search added as a subprocessor — Simon Willison
https://simonwillison.net/2025/Mar/21/anthropic-use-brave/ - منبع اولیه Anthropic appears to be using Brave to power web search for its Claude chatbot — TechCrunch
https://techcrunch.com/2025/03/21/anthropic-appears-to-be-using-brave-to-power-web-searches-for-its-claude-chatbot/ - Anthropic Lists Two Web-Search Subprocessors for Claude: Brave & TurboPuffer — Xponent21
https://xponent21.com/insights/claude-web-search-brave-turbopuffer/ - Can Claude search the web? How it works and how to turn it on
https://fixaeo.com/blogs/can-claude-search-the-web/ - How ChatGPT Search Works: Sources, Bing, and Citations — Lemniscate Growth
https://lemniscategrowth.com/blogs/how-chatgpt-search-works.html - Does ChatGPT Use Bing or Google? The Full Search Architecture Explained (2026)
https://aiplusautomation.com/blog/chatgpt-bing-or-google - Which Search Engine Does Each AI Use to Search the Web? — Mention Network
https://mention.network/learn/how-ai-chatbots-search-the-web/ - ChatGPT Search: The 10-Point Technical Readiness Checklist
https://aiadvantageagency.com/chatgpt-search-2026-readiness/ - Microsoft Copilot vs Google Gemini: Which Is Better? (2026) — GEO Toolbox
https://geotoolbox.ai/blog/copilot-vs-gemini - We Lost All Our Bing & Copilot Traffic Overnight — ThePlanetTools.ai
https://theplanettools.ai/blog/bing-deindexed-healthy-site-grounding-index-transition-2026 - منبع اولیه Microsoft Clarity Now Shows Grounding Queries Behind AI Citations — Search Engine Journal
https://www.searchenginejournal.com/microsoft-clarity-now-shows-grounding-queries-behind-ai-citations/575279/ - Google and Microsoft forbid citation indices: the clauses — GEO Optimised
https://geooptimised.com/the-grounding-clause/ - Grok: AI engine profile — GEO Compass
https://guptadeepak.com/geo-compass/engines/grok/ - A Comprehensive Guide to Grok WebSearch and DeepSearch — Dageno AI
https://dageno.ai/blog/understanding-grok - Which Search Engine Does AI Use? ChatGPT, Gemini, Claude and Perplexity — Hitit Medya
https://www.hititmedya.com/blog/which-search-engine-does-ai-use - AI web search backends: who owns, who rents — Botmonster Tech
https://botmonster.com/ai/ai-web-search-backends-who-owns-who-rents/ - منبع اولیه Web Search — xAI Developer Docs
https://docs.x.ai/developers/tools/web-search