WebView: Un Programa a Escala de Internet Utilizando TAIGA

Descripción General

WebView es una visualización de cómo se está utilizando actualmente la web. Está diseñado para monitorear los sitios web que se están navegando en ese momento y acumular esta información por categorías en una pantalla significativa (y interesante). Al mismo tiempo, es una demostración del potencial del sistema de programación TAIGA.

Para hacer que esta visualización sea interesante y efectiva, necesitamos que las personas la utilicen. Por lo tanto, les animamos a descargar, instalar y ejecutar el software.

La Pantalla

Desde el punto de vista de los usuarios, webview es un script simple que muestra una pantalla categorizada de lo que las personas están navegando actualmente. Se muestra un ejemplo de pantalla a continuación:

La pantalla consiste en anillos concéntricos, cada uno de los cuales representa un periodo de tiempo que va desde un minuto hasta varios días. Cada anillo está dividido en regiones que reflejan una categoría única de páginas web (actualmente usamos la clasificación de OpenDirectory, pero cualquier categorización funcionaría). Las categorías están dispuestas alfabéticamente, yendo en sentido contrario a las agujas del reloj desde la posición de las 3 en punto (lo cual tiene sentido al menos para los matemáticos). Los colores son arbitrarios, pero se eligen para maximizar la diferencia entre las posiblemente categorías adyacentes. Dentro de cada área de categoría hay una línea ondulada que codifica información sobre las páginas que se están viendo en esa categoría. La pantalla se actualiza cada minuto aproximadamente.

La pantalla proporciona al usuario varios tipos de información. El arco de cada categoría es proporcional al número de vistas (páginas solicitadas por un navegador) de páginas de esa categoría durante el periodo de tiempo. El tono de la región denota la categoría; la saturación del color refleja el número relativo de vistas. Así, si un arco tiene relativamente pocas vistas (donde "relativo" se basa en la cantidad de tiempo cubierto por el arco en comparación con la historia general), entonces la región será más clara; si el arco tiene muchas vistas, el arco será más oscuro. La línea ondulada en sí misma codifica el número relativo de URLs distintas durante el periodo de tiempo en la frecuencia de la línea. Así, si todas las páginas vistas para una sola categoría eran de una sola URL, la línea sería plana; si cada una era distinta, la línea sería bastante ondulada. El grosor de la línea se utiliza para reflejar el número relativo de usuarios que navegan por páginas de esa categoría. Si todo el navegante fue realizado por un solo usuario, la línea sería bastante delgada; si corresponde a muchos usuarios distintos, la línea sería gruesa.

La pantalla también puede codificar información en la luminosidad (desvanecimiento a negro) de los arcos y en la amplitud de las líneas. El usuario tiene la opción de cambiar las diversas propiedades de visualización a través de cuadros de diálogo apropiados. Esto incluye cambiar la estadística asociada con cada propiedad gráfica, cambiar los colores asociados con las diferentes categorías, asignar categorías y cambiar los diferentes arcos.

Recopilación de Información

Para mostrar información sobre lo que está sucediendo en la web, necesitamos recopilar la información. Por lo tanto, este programa es un spyware. Monitorea tu historial de navegación y reporta las páginas que visitas a un servidor central donde se categorizan y registran las categorías. Sin embargo, el programa no registra información de identificación personal. Los "usuarios" están representados por un ID único y aleatorio que solo se utiliza para obtener recuentos de usuarios. Los IDs son arbitrarios y no se pueden rastrear hasta la fuente (según mi conocimiento). El spyware solo funciona cuando estás ejecutando el visor y solo para el usuario que lo está ejecutando. Se proporciona el código fuente completo si no crees lo que está sucediendo.

Ten en cuenta que nuestra herramienta funciona en Windows, Linux y Mac OS/X con Safari, Mozilla, IE y Opera en diversas combinaciones. Si deseas contribuir a los datos del proyecto pero no quieres ejecutar el visualizador, proporcionamos un script que ejecuta solo el monitor de historial.

Clasificación

El sistema nunca guarda URLs o IDs de usuario. En cambio, a medida que aprende sobre una página, encuentra la categoría apropiada y periódicamente guarda información sobre el número de páginas, usuarios y URLs para cada categoría. El sistema no descarga ni accede a una página para encontrar su categoría. En lugar de eso, intenta encontrar la categoría solo usando la URL.

Usando el marco de trabajo TAIGA, permitimos múltiples implementaciones de clasificadores. Actualmente proporcionamos tres diferentes. Nuestro primer clasificador utilizó el servicio web de Google, preguntando a Google para buscar la página en particular y mirando la clasificación de Open Directory que Google devuelve como parte del resultado. Esto está limitado tanto porque Google no quiere que llamemos al servicio web más de 1000 veces al día como porque no siempre informan la clasificación incluso para páginas relativamente comunes. Una alternativa es el proyecto MeURLin. Tenemos un clasificador que se comunica con su página web de demostración (aún no tienen un servicio web configurado) y extrae el resultado. Esto es bastante efectivo (con grados variables de precisión), pero aún es un poco lento para nuestros propósitos. Nuestro tercer clasificador lee la base de datos de Open Directory al inicio y construye un árbol de clasificación para una URL. Una vez que se construye el árbol (lo que lleva 15 minutos y 2 GB de memoria), la búsqueda es bastante rápida. Aunque los tres clasificadores están disponibles, y TAIGA es libre de elegir el que sea mejor en un momento dado, el más probable que se esté utilizando en este momento es el último.

Si alguien tiene un clasificador mejor o uno que le gustaría probar, estaré encantado de integrarlo rápidamente en el sistema. Taiga permite que la implementación sea una biblioteca, un servicio de tipo cliente-servidor o un servicio web.

Almacenamiento de Datos

Estamos utilizando las propiedades del sistema de archivos globales de TAIGA para proporcionar el repositorio de información inicial. Los resultados acumulados de la recopilación de información se añaden periódicamente a un archivo de datos actual. Debido a que este archivo puede llegar a ser bastante grande, en realidad mantenemos un conjunto de archivos de datos en los que los archivos están vinculados de uno a otro. Se proporciona un servidor separado para identificar el archivo actual para un tiempo de inicio dado, crear nuevos archivos a medida que los archivos de datos se vuelven demasiado grandes y vincular los archivos entre sí. Este servicio se iniciará automáticamente (si aún no está en ejecución) en una máquina en Brown.

Red

En el corazón de este proyecto está el sistema TAIGA. Cuando ejecutas el visualizador, también estarás ejecutando el kernel de TAIGA en tu máquina. Taiga utiliza el paquete JXTA peer-to-peer para proporcionar comunicación entre los diversos kernels y servicios. En el inicio inicial, probablemente verás (al menos por ahora) una ventana de diálogo de configuración de JXTA. Si las cosas funcionan, simplemente hacer clic en "Aceptar" debería ser suficiente. Si estás familiarizado con JXTA, siéntete libre de modificar los diversos ajustes. Usando JXTA, webview debería poder ejecutarse dentro de firewalls y en máquinas arbitrarias. Si deseas obtener un registro del kernel de TAIGA mientras se ejecuta en tu máquina, configura la variable de entorno TAIGASHOW (en Windows) o configura la variable de entorno TAIGALOG con la ruta completa de un archivo de registro apropiado.

Papeles y Documentos

Aún no se ha escrito nada sobre este proyecto. Valoramos cualquier experiencia que tengas con él y agradecemos cualquier comentario para cuando (y si) escribimos un informe.

Retroalimentación

Este software es (muy) experimental. Hemos intentado realizar una variedad de instalaciones diferentes, pero solo tenemos un rango limitado de sistemas disponibles. Hay muchas cosas que pueden salir mal tanto en el kernel, en la aplicación y en la red que une todo. Queremos corregir las cosas, pero para hacerlo necesitamos saber qué no funciona (y posiblemente qué sí). Agradecemos cualquier comentario, informes de errores, sugerencias, comentarios, consultas, etc. Envía un correo electrónico a spr@cs.brown.edu.

Programas

Si estás en la Informática de Brown, la última versión del software se puede obtener en /home/spr/tryview (Y:\home\spr\tryview en Windows).

Si estás fuera de la Red de Informática de Brown, el software se puede obtener de nuestro servidor FTP en formato (tar.gz) o (zip).

La instalación es sencilla: descarga y descomprime el software. Ejecutarlo también es sencillo: simplemente ejecuta el script runview (o runview.bat en Windows) para obtener el visualizador. (Para ejecutar solo el software de monitoreo, utiliza los scripts runspy).