افزایش روز افزون منابع اطلاعاتی در اینترنت و مشکلات فنی و غیرفنی موتورهای کاوش باعث شده حجم زیادی از این اطلاعات از دید کاربران پنهان بماند و به عنوان وب نامرئی مورد بحث بسیاری از متخصصان
اطلاع رسانی قرار گیرد. امروزه گرایش بسیاری از کتابخانه ها و مراکز اطلاع رسانی و محققان به دیجیتالی کردن منابع و قراردادن آن ها در محیط اینترنت می باشد. بعلاوه، بسیاری از این منابع تک نسخه هستند و چنانچه دسترسی مطلوب به منابع ذخیره شده در اینترنت ممکن نباشد بسیاری از میراث های علمی، پژوهشی، فکری و فرهنگی بشر به هیچ وجه مورد استفاده حال و آینده قرار نخواهد گرفت.
در این میان کتابداران و اطلاع رسانان نیز با افزایش آگاهی کاربران از وجود وب نامرئی و شیوه های دستیابی و اطلاع یابی کاربران در باب این اطلاعات، می توانند نقش مهمی را در کاستن سطح اطلاعات نامرئی بر عهده بگیرند .
دراین مقاله تلاش شده است مفهوم وب پنهان چه از دید فنی و چه از دید کاربرمدار باز شود، بدین منظور ابتدا تاریخچه ای در مورد پیدایش وب ( همچنین وب نا مرئی ) آورده شده است، سپس مهمترین ابزار های جستجو در وب شامل فهرست راهنما و موتور های جستجو آورده شده است و توضیحی درباره چگونگی ساز وکار
موتور های جستجو داده شده است.
بعد از آن مقوله وب نامرئی و اهمیت آن بررسی شده و در مورد تفاوت آن با وب مرئی از جنبه های مختلف نکاتی گفته می شود، سپس انواع وب نامرئی ، ویژگی های محتوایی وب پنهان و شیوه های اطلاع یابی در آن
گفته می شود و در نهایت در مورد وضعیت آن از گذشته تا به امروز و نیز در آینده تحلیلی انجام می شود.
آنچه گفته می شود تنها نوک کوه یخی را نشان می‌دهد. پیوندهایی که در این مقاله به آنها اشاره می شود تنها نقطه شروعی است برای دستیابی به منابع موجود در وب نامرئی.
هرچه زمان می‌گذرد، عمق وب نیز بیشتر و بیشتر می‌شود و بنابراین بهتر است از همین حالا یاد بگیریم که چگونه از آن استفاده کنیم.
هرچه بر تنوع حجم و منابع موجود در شبکه وب افزوده می گردد، بحث جستجو و اطلاع یابی در محیط وب ابعاد و جنبه های گسترده تر و پیچیده تری به خود می گیرد.
گاهی یافتن پاسخ این پرسش در این شبکه به شکلی ساده و سریع انجام می شود و تنها به تایپ کلید واژه ای مناسب در یک موتور جستجوی آشنا مثل گوگل نیاز است. اما همیشه اطلاع یابی در این شبکه به این سهولت نیست و معمولا به تدبیر و تامل بیشتری نیاز دارد. با این حال گاهی با اتخاذ تمام تدابیر ممکن باز هم جستجو در وب و به ویژه از طریق موتور های کاوش عمومی نتیجه ای رضایت بخش در پی ندارد.
چنانچه منبعی مورد نظر درمحیط وب موجود باشد اما موتور های جستجو قادر به فراهم آوری امکان بازیابی آن نباشند اطلاعات مورد نظر در سایه وب پنهان / وب نامرئی مخفی مانده است.
واقعیت آن است که چالش عمده ما در حال حاضر، نبود اطلاعات نیست، بلکه دسترسی به اطلاعات مهمتر شده است. آنهم دسترسی به اطلاعات دقیق و معتبر و در زمان مورد نیاز.
وب منبع بزرگ اطلاعاتی عصر حاضر است و تقریبا درباره هر موضوعی می توان در آن اطلاعاتی یافت.
وب راهنمایی دارد که به کاربران برای یافتن اطلاعات کمک کند. سایتهایی وجود دارند که کاربران وب با مراجعه به آنها پاسخ سوالات خود را می یابند.
ما اینگونه سایتها را با عنوان “موتورهای جستجوگر” می شناسیم. در حقیقت موتور جستجوگر سایتی است که کاربر وب با مراجعه به آن و نوشتن چند کلمه می تواند هزاران پاسخ برای سوال خود بیابد. علاوه بر مراجعه به موتورهای جستجوگر یکی از راههای دیگر جستجوی اطلاعات، استفاده از “وب پنهان” است.
انواع اطلاعات موجود در اینترنت را می توان به سه دسته زیر تقسیم بندی کرد:
۱( اطلاعات رایگان و پیدا
۲( اطلاعات رایگان و ناپیدا
۳( اطلاعات تجاری
اطلاعات رایگان و پیدا اطلاعاتی هستند که در دسترس همگان قرار داده شده اند و با جستجو در موتورهای جستجوگر می توانیم آنها را بیابیم. اطلاعات تجاری اطلاعاتی هستند که برای استفاده از آن باید مبلغی پرداخت شود. در آخر اطلاعات رایگان و ناپیدا اطلاعاتی¬اند که نمی توانیم از طریق موتورهای جستجوگر به آنها دسترسی داشته باشیم.
تاریخچه:
افزایش روز افزون منابع اطلاعاتی و نیاز شدید افراد در دسترسی به این اطلاعات در سراسر دنیا از یک سو و در دنیای شگفت انگیز ارتباطات رایانه ای از سوی دیگر، موجب پیدایش شبکه جهانی اینترنت در اواخر دهه ۱۹۶۰ گردید. ولی تا سال ۱۹۹۰ هیچگونه ابزاری برای کاوش اطلاعات موجود در آن وجود نداشت. در سال ۱۹۹۰ شبکه جهانی وب در« آزمایشگاه فیزیک ذره ای اروپا » واقع در سوئیس توسط « تیم برنرزلی » ابداع شد.
پس از ابداع شبکه جهانی وب، ابزارها و موتورهای کاوش نیز پا به عرصه ظهور نهادند.
در سال ۱۹۹۰ اولین ابزار کاوش توسط «آلان امتیج» در دانشگاه «مک گیل» با عنوان «آرکی» ابداع شد.
« آرکی » از طریق نمایه سازی فایل های موجود در سایتهای اف تی پی ( پروتکل انتقال فایل )، امکان جستجو و بازیابی فایل ها در محیط اینترنت را فراهم ساخت.
اما با وجود پیشرفت ها و تحولات در حوز ه ذخیره اطلاعات در اینترنت که یکی از امتیازات بارز این پدیده جدید می باشد، باید یادآور شد که ذخیره اطلاعات به تنهایی کافی نیست، قطعًا اطلاعات تولیدشده زمانی ارزش واقعی می¬یابد که مورد استفاده قرار گیرد. مشکلات موجود در زمینه جستجو و بازیابی اطلاعات در اینترنت باعث شده که حجم زیادی از اطلاعات ذخیره شده درآن، قابل دسترس نباشد. (Sherman and price, 1999)
به موازات گسترش ابزارهای کاوش، پژوهش درباره جنبه های مختلف این موتور نیز شروع شد. بیشترین مباحث مطرح شده، موضوع دامنه کاوش و میزان سودمندی و کارآیی موتورهای کاوش بوده، که در این خصوص بحث های زیادی نیز صورت گرفته، اما از موضوعاتی که کمتر مورد توجه قرار گرفته موضوع وب نامرئی می باشد.
به رغم آنکه تاکنون مقالات متعدد به زبان انگلیسی درباره وب نامرئی منتشر شده اما به روشنی معلوم نیست که چه کسی برای اولین بار این واژه را ابداع کرده است.
مرور نوشتارها حاکی از آن است که به نخستین ( وب نامرئی ) احتمال قریب به یقین گویا عبارت وب پنهان یا وب نامرئی درسال ١٩٩٤ توسط « ژیل السورث » ابداع شده است (برگمن2001,). البته معدودی از منابع نیز شخص دیگری به نام «متیوکل» را به عنوان مبدع این اصطلاح معرفی می کنند. (شرمن2003,)
وب پنهان یا وب نامرئی اشاره به یک مفهوم چند بعدی و گسترده دارد به شکلی که ارائه تعریفی گویا و کوتاه از آن را کمی دشوار می کند.
با این حال نام“ کریس شرمن و گری ﭘرایس ”به عنوان دو نفر از صاحب نظران اصلی دراین موضوع بیشتر از دیگران به چشم می خورد و تعریفی که آنان در سال 2001 از وب نامرئی ارائه کرده اند در اغلب منابع ذکر شده است. از آنجا که بین وب نامرئی وموتورهای کاوش در اینترنت ارتباط تنگاتنگی وجود دارد، لازم است نخست اشار ه مختصری به سازوکار موتورهای کاوش کنیم.
ابزارهای کاوش که در وب ارایه می شود به دو گروه اصلی زیر تقسیم بندی می گردد:
• Search Engine ( موتورهای جستجو)
• Directory (فهرست راهنما )
تفاوت اصلی دو گروه اشاره شده در این است که:
اطلاعات پایگاه داده گروه اول را نرم افزارها جمع آوری می کنند، حال آنکه این کار برای گروه دوم توسط انسانها انجام می شود.