SEM چیستند؟

SEO= Search Engine Optimization
بهینه سازی سایت
هدف SEO اصلاح کدها و ساختار سایت برای بالا بردن شانس آن در کسب رتبه های بالا در نتایج جستجو است.
SEO در حقیقت پروسه ای است که کمک می کند محتوای یک سایت ساده تر، راحت تر و به دفعات در اختیار موتورهای جستجوگر قرار گیرد.
SEO اصلاح تمام کدها، حذف کدهای زاید، کاهش حجم صفحات، تنظیم چگونگی نمایش متن صفحه، نحوه لینک دادن صفحات به یکدیگر، چگالی کلمات در صفحه، مطابقت کدهای سایت با استانداردهای موجود و تمام آنچه که به خود سایت مرتبط است را به عهده می گیرد.

SEM= Search Engine Marketing
بازاریابی با موتورهای جستجوگر
SEM به تمام پروسه افزایش بینندگان سایت و بالا بردن فروش آن به کمک موتورهای جستجوگر گفته می شود. در حقیقت SEO بخش از SEM است. نمونه کارهایی که در SEM انجام می شود عبارتست از:
• انتخاب کلمات کلیدی
• بررسی وضعیت فعلی سایت و رقبای آن
• اصلاح ساختار سایت
• تنظیم متاها و عناوین سایت
• بهینه سازی سایر پارامترهای سایت
• معرفی سایت به موتورهای جستجوگر
• افزایش محبوبیت و پیوندهای سایت و مدیریت این پروسه
• شرکت در برنامه های PFI
• تحلیل آمار سایت
• بالا بردن رتبه ها (کنترل رتبه ها و اعمال تغییرات مورد نیاز
• انتخاب موتورهای جستجوگر برای سرمایه گذاری بر آنها
• بهینه سازی اخبار و Press Release

سایت شما مهمان مهمی دارد!

گفته می شود که SEO یک استراتژی قدرتمند بازاریابی در دنیای آنلاین است و زمانیکه به درستی اجرا شود مطمئنا کاربران بسیاری را به کمک موتورهای جستجوگر روانه سایتها می کند. تصور عمومی بر آنست که SEO کاریست که بعد از طراحی سایت صورت می پذیرد. اما این تصور درست نیست.
اگر شما سایت جدیدی را طراحی می کنید و یا قصد طراحی مجدد سایتتان را دارید، دانستن اینکه موتور جستجوگر چگونه کار می کند، کاربران مخاطب شما چگونه جستجو می کنند و بهترین روش طراحی وب ساییتان چیست، از همان ابتدا می تواند صرفه جویی قابل ملاحظه ای در زمان و هزینه شما ایجاد کند.
جستجوگران، بینندگان تصادفی نیستند. زمانیکه آنها یک سری از کلمات را جستجو می کنند، به معنای آنست که آنها کالا یا خدماتی را می خواهند. لذا ترافیکی که به کمک موتورهای جستجوگر در سایت شما ایجاد می شود به معنای مراجعه گروه کاربران مخاطب به سایت شماست.
بسیار گفته شد که کاربران جستجو می کنند لذا بجا خواهد بود که روشن نماییم اصولا با چه ابزاری می توان در وب به جستجو پرداخت. خدمات جستجویی که در وب ارایه می شود را می توان در دو گروه اصلی دسته بندی نمود:
• فهرستها
• موتورهای جستجوگر
تفاوت اصلی این دو گروه نیز در نحوه تشکیل پایگاه داده و جمع آوری اطلاعات آنهاست. در فهرستها، اینکار به عهده انسان است اما در موتورهای جستجوگر جمع آوری اطلاعات پایگاه داده را نرم افزارها انجام می دهند. دانستن تفاوت کار این دو گروه بسیار مهم است زیرا هر یک از آنها به گونه ای متفاوت با سایت شما رفتار می نمایند. فهرست هرگز از وجود سایت شما اطلاع نمی یابد مگر زمانیکه شخصی آنرا به وی معرفی نماید. بعد از معرفی است که ویراستار آن فهرست به سایت شما مراجعه نموده، در صورت رعایت قوانین فهرست و انتخاب گروه مناسب، سایت شما را به پایگاه داده فهرست اضافه می نماید.
اما در موتورهای جستجوگر وضع به گونه ای دیگر است؛ موتور جستجوگر می تواند از وجود سایت شما اطلاع یابد اگر راه ورود آن فراهم شده باشد. در واقع نرم افزار موتور جستجوگر هر لحظه در حال وبگردی و به روز رسانی اطلاع قدیمی و همینطور افزودن اطلاعات جدید به پایگاه داده موتور جستجوگر است.
شما باید سایت خود را با عنوان و توضیحی مناسب به فهرستها معرفی نمایید و بهترین گروه ممکن را برای سایت خود در نظر بگیرید. این کار بسیار مهم است زیرا عموما فهرستها همین عنوان و توضیح را به همراه آدرس صفحه اول سایتتان در پایگاه داده خود قرار می دهند.
راه ورود موتور جستجوگر به سایت شما چیست؟
این راه چیزی جز یک پیوند از سایتهای دیگر نیست. اگر می خواهید موتور جستجوگر را به میهمانی سایتتان دعوت کنید باید راه را هم به وی نشان دهید و وی آدرس سایت شما را بداند. موتور جستجوگر بهانه های بسیاری برای نپذیرفتن این دعوت دارد زیرا در همان لحظه به سایتهای بسیار دیگری هم دعوت شده است! بنابراین باید در آدرس دادن نهایت دقت را انجام دهید.

نحوه استفاده از Google Sitemaps (قسمت دوم)

محل قرارگیری فایل Sitemap
پس از ساخت فایل sitemap می بایست آن را در وب سایت خود قرار دهید. نرم افزارهای جستجوگر گوگل تنها قادر به مرور صفحاتی از صفحات معرفی شده در sitemap هستند که در سطح زیرین پوشه قرارگیری فایل sitemap قرار گرفته اند. بدین معنی که اگر فایل sitemap شما در پوشه فرضی www.sitename.com/foo/ قرار داشته باشد، نرم افزارهای مذکور تنها قادر به مرور صفحات موجود در پوشه foo و پوشه های زیرین آن هستند و در صورتی که در فایل sitemap شما آدرس صفحاتی موجود در دیگر پوشه های ریشه ثبت شده باشد، نرم افزارهای جستجوگر به سراغ آن صفحات نخواهند رفت. لذا بهترین مکان برای قرارگیری فایل sitemap ریشه سایت است (در اینجا www.sitename.com) بدین ترتیب تمامی صفحات معرفی شده در sitemap توسط نرم افزارهای جستجوگر مرور خواهند شد.


محتویات فایل Sitemap
به هنگام ساخت فایل sitemap به نکات زیر دقت کنید:
• فایل sitemap امکان ذخیره سازی آدرس صفحات مختلف و یا آدرس sitemapهای دیگر را دارد.
• در صورتی که فایل sitemap شامل آدرس sitemapهای دیگر است می بایست از روش خاصی برای معرفی آنها استفاده نمود و تعداد این sitemapها نباید از 1000 آدرس تجاوز کند. (روش معرفی sitemapها در مقالات آتی شرح داده خواهد شد.)
• فایل sitemap نباید بیشتر از 50000 آدرس را در خود ذخیره کند. علاوه بر آن حجم این فایل در حالت معمولی (فشرده نشده) نباید از 10 مگابایت بیشتر شود. در صورت نیاز به فایل بزرگتر ، به جای استفاده از یک فایل از وجود چند فایل sitemap بهره ببرید.
• تمامی آدرس های معرفی شده در فایل sitemap می بایست از قاعده یکسانی برای آدرس دهی استفاده کنند. به عنوان مثال اگر آدرس یک صفحه را با http://www.sitename.com آغاز نموده اید نباید آدرس صفحه دیگر را با http://sitename.com آغاز نمایید. به همین ترتیب برای آدرس دهی تمامی صفحات معرفی شده در sitemap باید از یکی از روش های فوق استفاده گردد.
• به هنگام معرفی صفحات سایت، آدرس آن را به طور کامل، به همراه پروتکل (برای مثال //:http) و ممیزهای الزامی دیگر مشخص نمایید.
• در آدرس دهی از شماره جلسه (Session ID) استفاده نکنید.
• در آدرس دهی صفحات تنها مجاز به استفاده از کاراکترهای اسکی خاصی هستید و استفاده از کد برخی از کنترلها و کاراکترهای خاص غیر مجاز می باشد. در صورت معتبر نبودن فایل sitemap ساخته شده، به هنگام معرفی آن به گوگل با پیغام خطای مربوط به آن روبرو خواهید شد.

نحوه استفاده از Google Sitemaps (قسمت اول)

برای استفاده از این ابزار، طی مراحل زیر الزامیست:

1. ساخت sitemap معتبر
2. اضافه کردن sitemap مذکور به حساب کاربری خود در Google Sitemaps
3. به روز نمودن فایل sitemap خود به هنگام تغییر در سایت خود

استفاده از Google Sitemaps برای همه وب سایتها امکان پذیر است. لذا چه سایت شما در برگیرنده یک صفحه است و چه شامل میلیونها صفحه پویاست این روش برای معرفی وب سایتتان به موتورهای جستجو توصیه می گردد.

ساخت sitemap
جهت ساخت sitemap سایت خود چندین راه وجود دارد. در زیر به بعضی از این راه ها اشاره شده است:
1. در صورتی که لیست صفحات موجود در وب سایت خود را در فایل متنی خاصی ذخیره کرده اید، می توانید از نرم افزار Google Sitemap Generator برای sitemap سایت استفاده نمایید.

2. در صورتی که امکان استفاده از نرم افزار Google Sitemap Generator را ندارید (برای مثال اگر زبان Python بر سرور شما نصب نمی باشد)، می توانید از نرم افزارهای جانبی دیگر استفاده نمایید.

3. همچنین امکان آماده سازی sitemap به صورت دستی و بر اساس پروتکل sitemap نیز وجود دارد.
برای مشاهده sitemap نمونه شرکت گوگل به اینجا مراجعه نمایید : http://www.google.com/sitemap.xml
قالبهای متفاوت sitemap قابل شناسایی برای گوگل
گوگل امکان شناسایی Sitemap های مختلفی را دارد ولی از بین انواع معرفی شده آن بهترین گزینه استفاده از sitemapهایی است که از پروتکل Sitemap استفاده می کنند. دلیل این پیشنهاد آن است که اولا با استفاده از این پروتکل علاوه بر آدرس صفحات سایت، اطلاعات مربوط به هر یک از این صفحات نیز قابل ثبت می باشند. ثانیا در صورت استفاده از پروتکل Sitemap ، دیگر موتورهای جستجو نیز امکان استفاده از Sitemap طراحی شده را خواهند داشت.

پروتکل Sitemap :
این قالب یک پروژه متن باز (Open Source) است که توسط شرکت گوگل و با استفاده از زبان xml طراحی شده است و همانطور که پیش از این نیز اشاره شد فایلهای Sitemapی که از این پروتکل استفاده نمایند علاوه بر نگهداری آدرس صفحات سایت امکان ذخیره سازی اطلاعات مربوط به هر صفحه را نیز دارا خواهند بود.

OAI-PMH (Open Archives Initiative Protocol for Metadata Harvesting)
این قالب، تنها برای سایت هایی توصیه می گردد که هم اکنون از این پروتکل استفاده می کنند.

Syndication feed
گوگل قابلیت استفاده از RSS 2.0 و Atom 0.3 feeds را نیز دارا می باشد. تنها در صورتی که هم اکنون از وجود چنین فید هایی در سایت خود بهره می برید، از این روش استفاده نمایید. لازم به ذکر است که فیدها ممکن است تنها اطلاعات آخرین صفحات اضافه شده به سایت را ذخیره نمایند.

فایل متنی
در این قالب از یک فایل متنی (Text File) که در هر سطر آن آدرس یک صفحه ذکر شده است استفاده می شود. در این روش تنها آدرس صفحات ذخیره می شوند و بر خلاف پروتکل Sitemap امکان افزوردن اطلاعات اضافی را ندارد.

پس از ساخت فایل Sitemap سایت خود می بایست آن را در بخش کاربری خود در سایت گوگل ثبت نمایید.

موتور جستجو چگونه کار می کند؟(قسمت ششم)

موتورهای جستجویی چون گوگل برای جمع آوری اطلاعات وب سایت های مختلف از نرم افزارهایی به نام عنکبوت (spider) استفاده می کنند. وظیفه ی این نرم افزارها این است که به هنگام ورود به یک وب سایت تمامی لینکهای موجود در آن را شناسایی کرده و به سمت آنها هدایت شوند. بدین ترتیب تمامی صفحات لینک داده شده، مرور شده و اطلاعات آنها در بانکهای اطلاعاتی گوگل ذخیره می گردد. این نرم افزارها به صورت دوره ای این وب سایت ها را مجددا بررسی می کنند و از آخرین تغییرات اعمال شده در آنها مطلع می گردند.

با استفاده از Google Sitemaps که یکی از جدیدترین امکانات موتور جستجوی گوگل است، ارتباط بین وب سایت و این موتور جستجو بسیار دقیقتر بوده و به عمل به روز رسانی اطلاعات در موتور جستجوی گوگل سرعت می بخشد.

این مقاله به معرفی این ابزار می پردازم و در مقالات آتی نحوه استفاده از آن را شرح خواهم داد.

عنکبوت های موتورهای جستجو به راحتی رد لینکهای صفحات پویا (dynamic) را نمی گیرند و این بدان معنی است که در صورتی که وب سایت شما شامل صفحاتی پویاست امکان ثبت نشدن بعضی از صفحات آن در موتورهای جستجو وجود دارد. در این هنگام است که Google Sitemaps به کمک شما می آید و کار معرفی چنین لینکهایی را انجام می دهد.

وجود چنین تکنیکی به هیچ عنوان به این معنی نیست که نحوه کار سنتی موتور جستجوگر گوگل از بین می رود. این تکنیک تنها روشی برای تسریع در عمل جمع آوری اطلاعات سایتها است و مجهز نبودن سایتها به این ابزار به عنوان ضعف وب سایت مذکور تلقی نمی شود.

برنامه Google Sitemaps به صورت مجانی عرضه شده است و باید به این نکته توجه نمود که استفاده از آن به هیچ عنوان در رتبه وب سایت شما در نتایج گوگل تاثیری نخواهد داشت. این برنامه در راستای اهداف شرکت گوگل طراحی شده است و امید آن می رود که با استفاده از آن نتایج سودمندی به هنگام جستجوی وب مشاهده گردد.

لازم به ذکر است Google Sitemaps هنوز به عنوان ابزار رسمی معرفی نگردیده و تنها نسخه بتای آن معرفی شده است.

موتور جستجو چگونه کار می کند؟(قسمت پنجم)

نکته ها:
• شکارچی می توانست برای شکار کبک یا اوریال و یا هر دو به آن منطقه برود همانطور که موتور جستجوگر می تواند از سرور سایت شما انواع فایل (عکس، فایل متنی، فایل اجرایی و ...) درخواست کند.
• شکارچی می تواند شب به شکار برود یا روز. موتور جستجوگر هم ممکن است شب به سایت شما مراجعه کند یا روز. بنابراین همواره مطمئن باشید که سایت شما آپ است و موتور جستجوگر می تواند در آن به شکار فایلها بپردازد.
• غذای خوشمزه را می توانید با نتایج جستجوی دقیق و مرتبط مقایسه کنید. اگر شکارچی بهترین شکار را با خود به منزل ببرد اما غذایی خوشمزه و مطابق سلیقه مهمانان طبخ نگردد، تمام زحمات هدر رفته است.
• به عنوان آخرین نکته این بخش یاد آوری می کنم که به شکار اوریالی رعنا آن هم در منطقه حفاظت شده ابیورد (پارک ملی تندوره) اصلا فکر نکنید. اما توصیه می شود که حتما از طبیعت بکر آن دیدن فرمایید (بدون اسلحه






موتورهای جستجوگر از جمله گوگل از نرم افزاری به نام روبوت یا اسپایدر (عنکبوت) برای جمع آوری اطلاعات موجود در وب استفاده می کنند. آنها به محض اینکه سایتی را پیدا کردند، متن صفحات را می خوانند و لینکها را دنبال می کنند. همه مدیران سایتها تلاش می کنند تا میزان مراجعه عنکبوت به سایت و زمان حضور آن در سایت خود را افزایش دهند. هر چه به سایت بیشتر مراجعه کنند بهتر است زیرا همواره از آخرین تغییرات اعمال شده در محتوای سایت با خبر می شوند.
با بکارگیری تکنیکی که در زیر معرفی شده است شما می توانید با عنکبوت گوگل مهربان تر باشید تا شانس حضور موثرتر سایتتان در نتایج جستجوی گوگل افزایش یابد. برای این کار شما فایلی با نام sitemap.xml می سازید و در روت سایت خود قرار می دهید.
سایت مپ سایت ایران سئو ( www.iranseo.com/sitemap.xml ) در زیر آمده است:



http://www.iranseo.com/index.php
always
1.0


http://www.iranseo.com/rouseoblog/index.php
weekly
1.0


http://www.iranseo.com/articles/index.php
weekly
1.0


• و آدرس صفحه را مشخص می کنند.
• و دوره به روزرسانی شدن محتوای صفحه را مشخص می کنند. شما می توانید ازalways, hourly, daily, weekly, monthly, yearly, never برای این تگ استفاده کنید.
• و میزان اهمیت هر صفحه در مقایسه با کل صفحات سایت را نشان می دهد که عددی بین صفر و یک است. سعی نکنید به همه عدد یک داده شود. برای سایت ایران سئو تنها برای سه صفحه عدد یک در نظر گرفته ام. در هر صورت به خاطر داشته باشید که اهمیت همه صفحات سایت شما یکسان نیست و برخی مهمترند!
• استفاده از تگهای و و و اجباری است و بقیه تگها اختیاری می باشند.دقت کنید که تنها موارد مهم در این مقاله ذکر شده است تا از پیچیدگی مطلب کاسته شود.
آدرس چند نمونه دیگر که خیلی ساده آنها را تنظیم کرده ام را می توانید در آدرسهای زیر ملاحظه نمایید:
www.irpedia.com/sitemap.xml
www.persianblog.com/sitemap.xml
برای کسب اطلاعات بیشتر حتما به آدرس زیر مراجعه نمایید:
https://www.google.com/webmasters/sitemaps/docs/en/about.html
بعد از آنکه سایت مپ سایت شما آماده شد و بر روی سرور سایتتان قرار دادید با مراجعه به آدرس زیر و عضویت در گوگل سایت مپ می توانید سایت مپ (های) خود را به گوگل معرفی کنید. گوگل مراجعه به آنها و وضعیت هر یک را بعد به شما نشان خواهد داد.
https://www.google.com/webmasters/sitemaps/login

موتور جستجو چگونه کار می کند؟(قسمت سوم)

ج- Indexer (بایگانی كننده)
تمام اطلاعات جمع آوری شده توسط اسپایدر در اختیار ایندکسر قرار می گیرد. در این بخش اطلاعات ارسالی مورد تجزیه و تحلیل قرار می گیرند و به بخش های متفاوتی تقسیم می شوند. تجزیه و تحلیل بدین معنی است كه مشخص می شود اطلاعات از كدام صفحه ارسال شده است، چه حجمی دارد، كلمات موجود در آن كدامند، کلمات چندبار تكرار شده اند، كلمات در كجای صفحه قرار دارند و ... .
در حقیقت ایندکسر، صفحه را به پارامترهای آن خرد می کند و تمام این پارامترها را به یک مقیاس عددی تبدیل می کند تا سیستم رتبه بندی بتواند پارامترهای صفحات مختلف را با هم مقایسه کند. در زمان تجزیه و تحلیل اطلاعات، ایندکسر برای كاهش حجم داده ها از بعضی كلمات كه بسیار رایج هستند صرفنظر می کند. كلماتی نظیر a ، an ، the ، www ، is و ... . از این گونه كلمات هستند.
د - DataBase (پایگاه داده)
تمام داده های تجزیه و تحلیل شده در ایندکسر، به پایگاه داده ارسال می گردد. در این بخش داده ها گروه بندی، كدگذاری و ذخیره می شود. همچنین داده ها قبل از آنكه ذخیره شوند، طبق تکنیکهای خاصی فشرده می شوند تا حجم كمی از پایگاه داده را اشغال كنند. یك موتور جستجوگر باید پایگاده داده عظیمی داشته باشد و به طور مداوم حجم محتوای آنرا گسترش دهد و البته اطلاعات قدیمی را هم به روز رسانی نماید. بزرگی و به روز بودن پایگاه داده یك موتور جستجوگر برای آن امتیاز محسوب می گردد. یكی از تفاوتهای اصلی موتورهای جستجوگر در حجم پایگاه داده آنها و همچنین روش ذخیره سازی داده ها در پایگاه داده است.
و- Ranker (سیستم رتبه بندی)
بعد از آنكه تمام مراحل قبل انجام شد، موتور جستجوگر آماده پاسخ گویی به سوالات كاربران است. كاربران چند كلمه را در جعبه جستجوی (Search Box) آن وارد می كنند و سپس با فشردن Enter منتظر پــاسخ می مانند. برای پاسخگویی به درخواست کاربر، ابتدا تمام صفحات موجود در پایگاه داده كه به موضوع جستجو شده، مرتبط هستند، مشخص می شوند. پس از آن سیستم رتبه بندی وارد عمل شده، آنها را از بیشترین ارتباط تا كمترین ارتباط مرتب می كند و به عنوان نتایج جستجو به كاربر نمایش می دهد.
حتی اگر موتور جستجوگر بهترین و كامل ترین پایگاه داده را داشته باشد اما نتواند پاسخ های مرتبطی را ارایه كند، یك موتور جستجوگر ضعیف خواهد بود. در حقیقت سیستم رتبه بندی قلب تپنده یك موتور جستجوگر است و تفاوت اصلی موتورهای جستجوگر در این بخش قرار دارد. سیستم رتبه بندی برای پاسخ گویی به سوالات كاربران، پارامترهای بسیاری را در نظر می گیرد تا بتواند بهترین پاسخ ها را در اختیار آنها قرار دارد.
حرفه ای های دنیای SEM به طور خلاصه از آن به Algo ( الگوریتم) یاد می كنند. الگوریتم، مجموعه ای از دستورالعمل ها است كه موتور جستجوگر با اعمال آنها بر پارامترهای صفحات موجود در پایگاه داده اش، تصمیم می گیرد که صفحات مرتبط را چگونه در نتایج جستجو مرتب كند. در حال حاضر قدرتمندترین سیستم رتبه بندی را گوگل در اختیار دارد.

موتور جستجو چگونه کار می کند؟(قسمت چهارم)

می توان با ادغام کردن اسپایدر با کراولر و همچنین ایندکسر با پایگاه داده، موتور جستجوگر را شامل سه بخش زیر دانست که این گونه تقسیم بندی هم درست می باشد:
• کراولر
• بایگانی
• سیستم رتبه بندی
تذکر- برای سهولت در بیان مطالب بعدی هر گاه صحبت از بایگانی کردن (شدن) به میان می آید، مقصود این است که صفحه تجزیه و تحلیل شده و به پایگاه داده موتور جستجوگر وارد می شود.
برای آنكه تصور درستی از نحوه كار یك موتور جستجوگر داشته باشید داستان نامتعارف زیر را با هم بررسی می كنیم. داستان ما یک شکارچی دارد. او تصمیم به شكار می گیرد:
- کار کراولر:
او قصد دارد برای شكار به منطقه حفاظت شده ابیورد، واقع در شهرستان درگز (شمالی ترین شهر خراسان بزرگ) برود.
- پروتكل Robots :
ابتدا تمام محدودیت های موجود برای شكار در این منطقه را بررسی می كند:
• آیا در این منطقه می توان به شکار پرداخت؟
• کدام حیوانات را می توان شکار کرد؟
• حداکثر تعداد شکار چه میزانی است؟
• و ... .
فرض می کنیم او مجوز شكار یک اوریال (نوعی آهو) را از شكاربانی منطقه دریافت می كند.
- کار اسپایدر
او اوریالی رعنا را شكار می كند و سپس آنرا با خود به منزل می برد.
- کار ایندکسر
شكار را تكه تكه كرده، گوشت، استخوان، دل و قلوه، كله پاچه و ... آنرا بسته بندی می كند و بخش های زاید شکار را دور می ریزد.
- کار پایگاه داده
بسته های حاصل را درون فریزر قرار داده، ذخیره می کند.
- کار سیستم رتبه بندی
مهمانان سراغ او می آیند و همسرش بسته به ذائقه مهمانان برای آنها غذا طبخ می كند. ممكن است عده ای كله پاچه، عده ای آبگوشت، عده ای ... دوست داشته باشند. پخت غذا طبق سلیقه مهمانان کار سختی است. ممكن است همه آنها آبگوشت بخواهند اما آنها مسلما" بامزه ترین آبگوشت را می خواهند!

موتور جستجو چگونه کار می کند؟(قسمت دوم)

لف Spider- (عنکبوت)
اسپایدر یا روبوت (Robot)، نرم افزاری است كه كار جمع آوری اطلاعات مورد نیاز یك موتور جستجوگر را بر عهده دارد. اسپایدر به صفحات مختلف سر می زند، محتوای آنها را می خواند، لینکها را دنبال می کند، اطلاعات مورد نیاز را جمع آوری می كند و آنرا در اختیار سایر بخش های موتور جستجوگر قرار می دهد. كار یك اسپایدر، بسیار شبیه كار كاربران وب است. همانطور كه كاربران، صفحات مختلف را بازدید می كنند، اسپایدر هم درست این كار را انجام می دهد با این تفاوت كه اسپایدر كدهای HTML صفحات را می بیند
اسپایدر، به هنگام مشاهده صفحات، بر روی سرورها رد پا برجای می گذارد. شما اگر اجازه دسترسی به آمار دید و بازدیدهای صورت گرفته از یک سایت و اتفاقات انجام شده در آن را داشته باشید، می توانید مشخص كنید كه اسپایدر كدام یک از موتورهای جستجوگر صفحات سایت را مورد بازدید قرار داده است. یکی از فعالیتهای اصلی که در SEM انجام می شود تحلیل آمار همین دید و بازدیدها است.
اسپایدرها كاربردهای دیگری نیز دارند، به عنوان مثال عده ای از آنها به سایت های مختلف مراجعه می كنند و فقط به بررسی فعال بودن لینك های آنها می پردازند و یا به دنبال آدرس ایمیل (Email) می گردند
ب- Crawler (خزنده)
كراولر، نرم افزاری است كه به عنوان یك فرمانده برای اسپایدر عمل می كند. آن مشخص می كند که اسپایدر كدام صفحات را مورد بازدید قرار دهد. در واقع کراولر تصمیم می گیرد كه كدام یك از لینك های صفحه ای كه اسپایدر در حال حاضر در آن قرار دارد، دنبال شود. ممكن است همه آنها را دنبال كند، بعضی ها را دنبال كند و یا هیچ كدام را دنبال نكند.
کراولر، ممكن است قبلا" برنامه ریزی شده باشد که آدرس های خاصی را طبق برنامه، در اختیار اسپایدر قرار دهد تا از آنها دیدن کند. دنبال كردن لینك های یک صفحه به این بستگی دارد كه موتور جستجوگر چه حجمی از اطلاعات یک سایت را می تواند (می خواهد) در پایگاه داده اش ذخیره كند. همچنین ممكن است اجازه دسترسی به بعضی از صفحات به موتورهای جستجوگر داده نشده باشد.
شما به عنوان دارنده سایت، همان طور كه دوست دارید موتورهای جستجوگر اطلاعات سایت شما را با خود ببرند، می توانید آنها را از بعضی صفحات سایت تان دور كنید و اجازه دسترسی به محتوای آن صفحات را به آنها ندهید. موتور جستجو اگر مودب باشد قبل از ورود به هر سایتی ابتدا قوانین دسترسی به محتوای سایت را (در صورت وجود) در فایلی خاص بررسی می کند و از حقوق دسترسی خود اطلاع می یابد. تنظیم میزان دسترسی موتورهای جستجوگر به محتوای یک سایت توسط پروتكل Robots انجام می شود. به عمل کراولر ، خزش (Crawling) می گویند.

موتور جستجو چگونه کار می کند؟(قسمت اول)

وقتی جستجویی در یک موتور جستجوگر انجام و نتایج جستجو ارایه می شود، كاربران در واقع نتیجه كار بخش های متفاوت موتور جستجوگر را می بینند. موتور جستجوگر قبلا" پایگاه داده اش را آماده كرده است و این گونه نیست كه درست در همان لحظه جستجو، تمام وب را بگردد. بسیاری از خود می پرسند كه چگونه ممکن است گوگل در كمتر از یك ثانیه تمام سایت های وب را بگردد و میلیون ها صفحه را در نتایج جستجوی خود ارایه كند؟
گوگل و هیچ موتور جستجوگر دیگری توانایی انجام این كار را ندارند. همه آنها در زمان پاسخ گویی به جستجوهای كاربران، تنها در پایگاه داده ای كه در اختیار دارند به جستجو می پردازند و نه در وب! موتور جستجوگر به كمك بخش های متفاوت خود، اطلاعات مورد نیاز را قبلا" جمع آوری، تجزیه و تحلیل می كند، آنرا در پایگاه داده اش ذخیره می نماید و به هنگام جستجوی کاربر تنها در همین پایگاه داده می گردد. بخش های مجزای یك موتور جستجوگر عبارتند از:
• Spider یا عنکبوت
• Crawler یا خزنده
• Indexer یا بایگانی کننده
• Database یا پایگاه داده
• Ranker یا سیستم رتبه بندی

شباهتهای آفلاین و آنلاین: موتور جستجوگر و شکارچی (دوم)

برداشتهای فنی:
1. سایت شما نباید منطقه حفاظت شده باشد. از سایتهای دیگر بخواهید که به شما لینک کنند. ساختار سایت را به گونه ای طراحی و تدوین کنید که موتور جستجوگر به راحتی بتواند به بخشهای مختلف آن سر بزند. اگر شکارچی سرخود راهی "شرق" نمی شود تا منطقه ای حفاظت شده در آن سو بیابد موتور جستجوگر نیز تا راهی (لینکی) به سایت شما نداشته باشد روانه آن نمی شود.
2. مجوز لازم را به موتور جستجوگر بدهید. سایت طراحی شده است که اطلاعاتی عرضه کند بنابراین ضرورتی ندارد دسترسی به آنها را محدود کنید. پس با دقت فایل robots.txt سایت خود را تهیه کنید. حتی اگر سایت شما محدودیتی ندارد این فایل را تهیه کنید و در سایت خود قرار دهید. حالا سایت شما حرفه ای تر است چون برای خود قانون دارد!
3. در انتخاب میزبان وب سایت خود دقت کنید. وب سایت شما باید همواره در دسترس باشد تا موتور جستجوگر بتواند با مراجعه به آن فایلهای مختلف را شکار کند.
4. راه ورود به سایت شما تنها صفحه اول آن نیست! اشتباه بسیاری از مدیران این است که تمام لینکها را به صفحه اول سایت خود ارجاع می دهند. اگر از سایتهای دیگر لینک درخواست می کنید به صفحات داخلی سایتتان نیز لینک کنید. صفحه اول سایتها معمولا محتوای کمی دارد و شانس کسب رتبه بالا را کاهش می دهد.
5. هر موتور جستجوگری مهم نیست. وقت خود را با تمرکز بر روی موتورهای جستجوگر غیر مهم تلف نکنید. آنها هیچ ارزشی برای سایتان ندارند زیرا ترافیک ناشی از آنها در عمل برابر صفر است. گوگل، یاهو، MSN و ASK در اغلب موارد کافی اند. من نیز این قانون را رعایت می کنم و به کار مهران ایمان دارم و سراغ شکارچی دیگری نمی روم. های مهدی! امروز تو هم باید با من بیایی. با این صدا بود که من از دغدغه های ذهنی ام خارج شدم. وب و گوگل را فراموش کردم. دنیای مهران هم می تواند جذاب باشد هر چند که او اصلا نمی داند گوگل چیست!

شباهتهای آفلاین و آنلاین: موتور جستجوگر و شکارچی (قسمت اول)

مهران در روستایی زیبا نزدیک منطقه حفاظت شده ابیورد واقع در شمال شرقی ایران زندگی می کند. او شکارچی ماهری است و همیشه با گوشت لذیذ شکار از میهمانانش پذیرایی می کند. تابستان گذشته بدون اطلاع قبلی به او سر زدم. آنجا که رسیدم خیلی خسته بودم و البته گرسنه. درست یکساعت بعد در حالیکه شکمی از عزا درآورده بودم به این فکر می کردم که مهران چگونه به آن سرعت، غذایی خوشمزه از گوشت آهو برایم آماده کرد؟ او که همان لحظه به شکار نرفته بود!
این سوال من را یاد سوال یکی از مشتریانم انداخت که قبلا به من گفته بود: چگونه گوگل در کمتر از یک ثانیه به سوالات ما پاسخ می دهد؟ مگر گوگل می تواند در این مدت کوتاه در تمام وب بگردد؟
چه فانتزی! می توانم رفتار مهران را با رفتار یک موتور جستجوگر مقایسه کنم. این مقایسه برای من که کسب و کاری آنلاین دارم جذاب است. شاید برای شما هم جذاب باشد!
مهران برای شکار، به مجوز نیاز دارد هر چند که می تواند غیر قانونی هم این کار را بکند. او می تواند از راههای بسیاری وارد منطقه حفاظت شده شود. می تواند آهو شکار کند یا کبک یا خرگوش و ... . ممکن است شب به شکار برود و یا روز. جالب است بدانید که او گاهی دست خالی و بدون شکار بر می گردد.
موتور جستجوگر نیز می تواند از راههای متفاوتی به یک سایت وارد شود. این راهها همان لینکها هستند. موتور جستجوگر برای خواندن صفحات سایت مجوزهای لازم و محدودیتها را در فایل ROBOTS.TXT بررسی می کند. هر چند که می تواند آن مجوزها را به طور کلی نادیده بگیرد. موتور جستجوگر می تواند انواع فایل را بخواند: فایل DOC، PDF، HTML، PHP و ... شب به سایت سر بزند و یا روز. گاهی هم که به سایت سر می زند با دست خالی بر می گردد زیرا سرور سایت جواب نمی دهد و سایت موقتا و یا برای همیشه فعال نیست.
مهران بخشهای زاید شکار را همانجا دور می ریزد و بقیه را باخود به خانه اش می آورد. گوشت را بسته بندی می کند و در فریزر قرار می دهد تا در روزهای آینده از آن استفاده نماید.
موتور جستجوگر نیز بعد از خواندن محتوای سایت بخشهای زاید را دور می ریزد (کلمات بنجل) و بقیه را با خود می آورد، گروه بندی می کند، فشرده سازی می کند و در پایگاه داده اش قرار می دهد تا بعدا از آن استفاده نماید.
مهران اگر لذیذترین گوشت را هم در اختیار داشته باشد اما آشپز خوبی نباشد و نتواند غذای خوبی طبخ کند، برای من که کمی شکمو هستم، اوضاع نگران کننده است و او آشپز محبوب من نخواهد بود.
موتور جستجوگر هم اگر بهترین اطلاعات را در اختیار داشته باشد اما نتواند پاسخهای خوبی به سوالات کاربران بدهد، موتور جستجوی محبوب کاربران وب نخواهد بود.