یکی از رایج‌ترین مشکلاتی که برای سایت‌های مختلف در موتورهای جستجو مثل گوگل پیش می‌آید، مشکل محتوای تکراری یا Duplicate Content است. وجود محتوای تکراری باعث می‌شود محتوای مشابهی در چندین آدرس اینترنتی یا URL مشاهده شود؛ این موضوع گوگل را در انتخاب نتیجه درست گیج می‌کند. این موضوع زمانی نیز بدتر می‌شود که افراد مختلف شروع به لینک دادن به نسخه‌های مختلف از یک محتوای تکراری می‌کنند. با این مقاله به شما کمک می‌کنیم تا دلایل وجود محتوای تکراری را متوجه شوید و راه حل‌های مطمئن برای رفع آن‌ها داشته باشید. با ما همراه باشید.
محتوای تکراری چیست؟
محتوای تکراری یا Duplicate Content به محتوایی گفته می‌شود که کپی یا مشابه آن محتوا در سایت‌ها یا صفحات دیگر اینترنت نیز وجود دارند. وجود محتوای تکراری بیش از حد در یک سایت می‌تواند تاثیر منفی روی رتبه یک سایت در گوگل داشته باشد. به زبان دیگر محتوای تکراری به محتوایی گفته می‌شود که کلمه به کلمه آن مانند محتوایی دیگر در اینترنت باشد.
هرچند در بسیاری از موارد محتواهای خیلی نزدیک به هم و دارای کلمات هم معنی نیز به عنوان محتوای تکراری شناخته می‌شوند. با تمام این تفاسیر محتوای تکراری و محتوای کپی با یکدیگر تفاوت دارند.
تفاوت محتوای تکراری و محتوای کپی
محتوای تکراری و محتوای کپی در ظاهر شبیه به هم هستند، اما در عمل با هم تفاوت زیادی دارند.
اگر به زبان ساده بخواهیم بگوییم، زمانی که یک سایت محتوایی را از سایت دیگر کپی کند و آن را در سایت خود قرار دهد، به آن محتوای کپی گفته می‌شود. این کار عملا در گوگل به عنوان سرقت ادبی تعریف شده است و انجام آن عواقب بدی را برای کاربر به دنبال خواهد داشت.
از طرفی، محتوای تکراری یا Duplicate Content معمولا در هنگام بارگذاری مطلب در سایت اتفاق می‌افتد و به دلیل خطای فنی به وجود می‌آید. یعنی از یک صفحه با محتوای شما دو یا چند آدرس مختلف به وجود می‌آید که باعث گمراه شدن گوگل و کاهش رتبه سایت شما می‌شود. در نهایت می‌توان گفت محتوای کپی، یک نوع محتوای تکراری است؛ اما اگر محتوای کپی در سایت خود قرار دهید و گوگل این موضوع را بفهمد، سرنوشت خوبی در انتظار سایت شما نخواهد بود!
محتوای تکراری در سئو چه مشکلی ایجاد می‌کند؟
به طور کلی، گوگل به صفحاتی که محتوای تکراری دارد اجازه رتبه‌بندی نمی‌دهد. در واقع خود گوگل می‌گوید:
گوگل تلاش زیادی می‌کند تا صفحاتی با اطلاعات متمایز را فهرست کند و آن‌ها را در صفحه جستجو نمایش دهد.
به همین دلیل اگر صفحاتی را با اطلاعات یکسان در سایت خود ساخته باشید، می‌توانند به رتبه بندی سایت شما در موتور جستجو آسیب بزنند. مشکلاتی که محتوای تکراری در سایت ایجاد می‌کند را از دو جنبه می‌توان بررسی کرد.
- گوگل
- صاحب سایت
وجود محتوای تکراری از نظر گوگل باعث بروز سه مشکل اساسی می‌شود. ابتدا موتورهای جستجو را گیج می‌کند و آن‌ها نمی‌دانند کدام نسخه از محتوای تکراری شما نسخه اصلی است؛ به همین دلیل نمی‌داند کدام محتوا را باید به کاربر نمایش دهد. همچنین گوگل نمی‌داند که اعتبار مربوط به آن صفحه را به کدام یک از نسخه‌های موجود از محتوای تکراری باید اختصاص دهد. در نهایت هم برای گوگل مشخص نمی‌شود که کدام نسخه از محتوا باید برای یک عبارت خاص رتبه بندی شود.
از طرفی وجود محتوای تکراری مشکلاتی را برای صاحبان سایت نیز ایجاد می‌کند. وقتی از یک محتوا چند صفحه داشته باشید، گوگل خودش انتخاب می‌کند که کدام صفحه شما را نمایش دهد. از طرفی احتمالا به همان صفحه شما هم به علت وجود Duplicate Content رتبه خوبی را نخواهد داد. پس ورودی وب‌سایت در بلند مدت کم می‌شود. همچنین اگر بخواهید لینک بیلدینگ انجام دهید، وب‌سایت‌های دیگر نمی‌دانند به کدام صفحه شما لینک بدهند. این موضوع توازن لینک‌دهی در سایت را به هم می‌ریزد و در نهایت باعث ضعیف‌شدن لینک‌سازی سایت می‌شود.
دلیل ایجاد محتوای تکراری چیست؟
اگر بررسی دقیقی روی اینترنت انجام دهید، متوجه خواهید شد که محتواهای تکراری زیادی در اینترنت وجود دارند و وجود آن‌ها در سایت می‌تواند مسئله رایجی باشد. شاید تصور کنید تمام محتواهای تکراری موجود در اینترنت توسط سارقان ادبی ایجاد شده‌اند؛ اما باید به شما بگوییم در بسیاری از موارد صاحب سایت به صورت ناخواسته یک محتوای تکراری را ایجاد می‌کند. در ادامه به اصلی‌ترین دلایل ایجاد محتوای تکراری اشاره کرده‌ایم.
آدرس اینترنتی یا URL اضافه
زمانی که در سایت خود یک صفحه درست می‌کنید، ممکن است ویژگی‌هایی را در آن صفحه قرار دهید که هر ویژگی محتوایی را به URL یا آدرس اینترنتی سایت اضافه کند. فرض کنید یک محصول فروشگاهی دارید و رنگ‌های مختلفی را برای آن تعریف کرده‌اید. زمانی که مشتری شما هر رنگ را انتخاب می‌کند، به واسطه انتخاب رنگ جدید، آدرس جدیدی نیز برای آن صفحه تعریف می‌شود که مختص آن رنگ است. این مشکل که با نام کنونیکال نیز شناخته می‌شود، یکی از اصلی‌ترین دلایل ایجاد محتوای تکراری در سایت است.
مثال: فرض کنید محصولی را با آدرس Test.ir/test-product ایجاد کرده‌اید. برای این محصول رنگ‌های متفاوتی تعریف شده است و یکی از این رنگ‌ها نیز رنگ قرمز است. زمانی که مشتری روی رنگ قرمز کلیک می‌کند، URL سایت به Test.ir/test-product?color=red تغییر پیدا می‌کند. این URL جدید شامل همان URL اصلی محصول است، اما از نظر گوگل یک محتوای تکراری یا Duplicate Content حساب می‌شود. مشکلات مربوط به URL متغیر می‌تواند یکی از موارد زیر نیز باشد:
- Session ID: این تگ HTTP، یکی از مواردی است که می‌تواند باعث ایجاد آدرس‌های اینترنتی متغیر با محتوای تکراری شود.
- ویژگی پرینت صفحه: بعضی از صفحات گزینه‌ای برای پرینت محتوای صفحه دارند. ممکن است این گزینه آدرس اینترنتی مشخصی برای پرینت محتوای آن صفحه مشخص کرده باشد. مثالی که قبل‌تر زدیم را در نظر بگیرید. در صورتی که برای آن صفحه محصول گزینه پرینت در نظر گرفته باشید و آدرس Test.ir/print/test-product را مشخص کرده باشید، این آدرس هم یک محتوای داپلیکیت یا تکراری به سایت شما اضافه خواهد کرد.
- مشکلات HTTP: یکی دیگر از مواردی که می‌تواند باعث ایجاد صفحات تکراری شود، قرار داشتن سایت روی هر دو نسخه HTTP و HTTPS است. فرض کنید هم آدرس HTTP://test.ir و هم آدرس HTTPS://test.ir سایت شما را لود می‌کنند. در این صورت صفحات موجود در سایت شما هم داپلیکیت و تکراری می‌شوند.
اگر سایت خود را با فروشگاه ساز پرتال ساخته‌اید، خیالتان از بابت مشکلات مربوط به URL راحت باشد؛ چراکه کدهای سایت‌های ساخته شده با پرتال به گونه‌ای نوشته شده‌اند که مشکل کنونیکال ندارند و تحت هیچ شرایطی دست شما را در پوست گردو قرار نخواهند داد!
محتوای کپی
اگر با تولید محتوای سایت آشنا باشید، می‌دانید که اصالت و کپی نبودن در آن حرف اول را می‌زند. اصلی‌ترین و ساده‌ترین مسئله‌ای که می‌تواند باعث داپلیکیت بودن محتوای سایت شما شود، این است که محتوایی را از جای دیگری در اینترنت کپی کرده باشید. اگر گوگل متوجه کپی بودن محتوای صفحه‌ای در یک سایت شود، آن سایت را جریمه می‌کند و اعتبار آن سایت نیز نزد گوگل به شدت کاهش پیدا می‌کند.
گاهی اوقات نیز ممکن است محتواهای کپی به صورت ناخواسته ایجاد شده باشند. مثلا یک محصول را چند فروشگاه می‌فروشند و ویژگی‌های یکسانی برای آن محصول می‌گذارند. در این حالت هم محتوای کپی ایجاد می‌شود. همچنین ممکن است محتوای مشخصی از سایت خود را برای تبلیغ در جای دیگری از اینترنت قرار دهید. در این حالت نیز ممکن است محتوای کپی ساخته باشید. پس همواره باید حواستان به محتواهای سایت و اصالت آن‌ها باشد.
نحوه پیدا کردن Duplicate Content
ابزارهای زیادی در سطح اینترنت برای پیدا کردن محتوای تکراری وجود دارند. یکی از بهترین این ابزارها، سایت Siteliner.com است. بعد از ورود به این وب‌سایت می‌توانید آدرس سایتی که می‌خواهید بررسی کنید را در آن وارد کنید و روی گزینه «Go» کلیک کنید. سپس این سایت لیستی از شباهت محتوا را به شما می‌دهد.
حال اگر می‌خواهید ببینید چه صفحه‌ای از وب‌سایت شما در اینترنت نسخه کپی دارد، می‌توانید از سایت Copyscape استفاده کنید. این سایت نیز محتوای مشابه را به شما نشان می‌دهد. البته نتایج این ابزار هم ممکن است برای شباهت بین محتوای دو سایت ایجاد شود، اما به طور کلی این ابزار به شما کمک می‌کند تا اگر محتوای دزدی از سایت شما در اینترنت پخش شده باشد، آن را پیدا کنید.
راه حل مشکل محتوای تکراری
اکنون که فهمیدیم محتوای تکراری چیست، بدون هیچ حرف اضافه‌ای ببینیم که چطور می‌توان مشکلات مربوط به محتوای تکراری را رفع کرد. برای رفع مشکل مربوط به محتوای تکراری در صفحات یک سایت، باید از تگ کنونیکال استفاده کرد. سپس با استفاده از ریدایرکت ۳۰۱ مشکل مربوط به آن را برطرف کرد.
استفاده از گوگل برای بررسی سایت
قبل از اینکه به بررسی تگ کنونیکال بپردازیم، راهی را برای نمایش صفحات ایندکس شده سایت در گوگل به شما بگوییم. یکی از ساده‌ترین راه‌ها برای پیدا کردن محتوای صفحات تکراری این است که به تعداد صفحات سایت خود که در گوگل ایندکس شده‌اند نگاهی بیندازید. برای این کار کافی است تا عبارت site:test.ir را در گوگل سرچ کنید. به جای test.ir نیز آدرس اینترنتی یا دامنه سایت خود را وارد کنید. البته برای چک کردن صفحات ایندکس شده می‌توانید از سرچ کنسول نیز استفاده کنید.
بیشتر بدانید: سرچ کنسول چیست؟
بعد از اینکه نام سایت خود را با استفاده از این عبارت در گوگل سرچ کردید، تعداد صفحات ایندکس شده سایت در گوگل به شما نمایش داده خواهد شد. برای مثال در تصویر زیر می‌بینید که سایت پرتال را با استفاده از این عبارت سرچ کرده‌ایم و طبق آمار گوگل حدود ۱۰۰۰ صفحه از سایت پرتال در گوگل ایندکس شده است.
استفاده از تگ کنونیکال (Canonical)
یکی از اصلی‌ترین راه‌هایی که برای رفع مشکل محتوای تکراری در سایت وجود دارد، استفاده از تگ "Rel=Canonical" است. این کد معمولا در قسمت هدر کدهای HTML سایت قرار می‌گیرد و مشکل محتوای تکراری در موتور جستجو را رفع می‌کند. در واقع زمانی که از این کد در یک صفحه استفاده می‌کنید، با استفاده از آن، آدرس Test.ir/test-product?color=red را که یک آدرس فرعی است به آدرس اصلی آن یعنی Test.ir/test-product وصل می‌کنید. خزنده‌های موتور جستجوی گوگل و بینگ نیز بعد از دیدن این تگ، متوجه می‌شوند که اعتبار محتوا را به کدام آدرس بدهند و چه آدرسی را در صفحه اصلی موتور جستجوی خود نمایش دهند.
البته اگر در جمع پرتالی‌ها حضور دارید و سایت خود را با استفاده از فروشگاه ساز ما ساخته‌اید، باید به شما بگوییم برای ارجاع یک صفحه با استفاده از تگ کنونیکال، نیازی به کدنویسی ندارید. کافی است هنگام ایجاد صفحه خود (از جنس محصول، نوشته و…)، گزینه سئو را در صفحه ویرایش انتخاب کنید. سپس فرمی برای تنظیمات سئو برای شما باز می‌شود که با استفاده از آن می‌توانید لینک اصلی کنونیکال که می‌خواهید اعتبار محتوا را به آن بدهید را وارد کنید.
ریدایرکت ۳۰۱
یکی دیگر از راه‌های مبارزه با محتوای تکراری یا Duplicate Content در صفحات یک سایت، استفاده از تنظیمات ریدایرکت ۳۰۱ است. شما با تنظیم این ریدایرکت می‌توانید اعتبار یک صفحه را به صفحه دیگری بدهید و قدرت صفحه مرجع را افزایش دهید. در واقع این نوع ریدایرکت کردن محتوا، می‌تواند یک استراتژی خوب برای محتواهای شما نیز باشد؛ چرا که اگر صفحات مختلفی را با استفاده از این ریدایرکت به یک صفحه مرجع متصل کنید، اعتبار آن صفحه مرجع را نزد گوگل بالا می‌برید و احتمال کسب رتبه در نتایج جستجو برای آن بیشتر خواهد بود.
کد follow, noindex
یکی دیگر از کارهایی که می‌توانید برای رفع مشکل محتوای تکراری در سایت انجام دهید، استفاده از متا تگ follow و noindex است. شما با استفاده از این کد به خزنده‌های گوگل می‌گویید که سایتتان را ایندکس نکنند. ربات‌های گوگل نیز با این تگ متوجه می‌شوند که محتوای صفحه را دنبال کنند، اما آن را برای نمایش در موتورهای جستجو ایندکس نکنند.
مدیریت مشکل در سرچ کنسول
یکی از مهم‌ترین ابزارهای گوگل که با استفاده از آن می‌توانید سایت خود را مدیریت کنید، ابزار سرچ کنسول است. شما با استفاده از این ابزار می‌توانید نسخه‌های مختلف یک آدرس اینترنتی یا URL را مدیریت کنید. البته تنظیم و مدیریت این نسخه‌های مختلف در سرچ کنسول فقط برای موتور جستجوی گوگل اعمال می‌شود و تاثیری روی خزنده‌های سایر موتورهای جستجو مثل بینگ ندارد.
کلام آخر
در این مقاله سعی کردیم تا شما را با همه چیز درباره یک محتوای تکراری آشنا کنیم. همان‌طور که در متن خواندیم، وجود محتوای تکراری می‌تواند آسیب زیادی به سایت و سئوی آن بزند. با راهکارهایی که در این مقاله به آن اشاره کردیم، احتمالا می‌توانید مشکلات مربوط به Duplicate Content را شناسایی کنید و آن‌ها را رفع کنید. اگر همچنان سوالی درباره این موضوع یا نحوه برطرف کردن آن دارید، آن را با ما در بخش دیدگاه‌ها به اشتراک بگذارید.
سوالات متداول
محتوای تکراری (Duplicate Content) چیست؟
محتوای تکراری به محتوایی گفته می‌شود که نسخه کپی یا با تشابه بالا از آن در صفحات مختلف اینترنت وجود داشته باشد. وجود محتوای تکراری در سایت می‌تواند به سئوی سایت آسیب جدی وارد کند.
چطور محتوای تکراری را پیدا کنیم؟
برای پیدا کردن محتوای تکراری می‌توانید از سایت‌های Siteliner.com و CopyScape استفاده کنید.
دلایل ایجاد محتوای تکراری چیست؟
دلایل اصلی ایجاد محتوای تکراری، مشکلات فنی در آدرس‌های اینترنتی و وجود محتوای کپی در صفحات است. برای مشکلات فنی URL نیز می‌توان به مواردی مثل SessionID، آدرس پرینت صفحه و مشکلات HTTP اشاره کرد.
چطور مشکل مربوط به محتوای تکراری را حل کنیم؟
شما می‌توانید با استفاده از تگ کنونیکال (Canonical)، ریدایرکت ۳۰۱ و تگ follow,noindex مشکلات مربوط به وجود محتوای تکراری را حل کنید.
