septicus  
Team-Ulmler
(offline)
Dabei seit 08.2002
4436
Beiträge
|
|
Geschrieben am: 22.08.2011 um 12:30 Uhr
|
|
Zitat von madeofclay:
Bedingt.. dennoch gibt es oft zuverlässige Tendenzen. Sollte TeamUlm nicht grade die Crawler per robots aussperren, dann crawlt Google (und Co) immer bei neuen Veränderungen auf einer Seite. Verändert sich die Seite lange nicht, wird auch weniger gecrawlt. 
Wie kriegen die mit, dass sich was geändert hat, wenn sie nicht crawlen ?
Das kann immer nur anhand der Daten aus der Vergangenheit angenommen werden und bewegt sich somit nicht zwingend an der Realität entlang.
Der Crawler von Archive.org arbeitet übrigens nach ganz anderen Mechanismen.
|
|
madeofclay
Profi
(offline)
Dabei seit 06.2011
705
Beiträge
|
|
Geschrieben am: 22.08.2011 um 12:45 Uhr
|
|
Zitat von septicus: Zitat von madeofclay:
Bedingt.. dennoch gibt es oft zuverlässige Tendenzen. Sollte TeamUlm nicht grade die Crawler per robots aussperren, dann crawlt Google (und Co) immer bei neuen Veränderungen auf einer Seite. Verändert sich die Seite lange nicht, wird auch weniger gecrawlt.
Wie kriegen die mit, dass sich was geändert hat, wenn sie nicht crawlen ?
Das kann immer nur anhand der Daten aus der Vergangenheit angenommen werden und bewegt sich somit nicht zwingend an der Realität entlang.
Der Crawler von Archive.org arbeitet übrigens nach ganz anderen Mechanismen.
Ich beziehe mich mal auf Google, weil: mit knapp 82% Marktführer.
Wenn du eine neue Seite aufbaust wird Google dich über Links crawlen und dich indexieren. Dann weiß Google bereits: Aha, hier, neuer Inhalt, krachneue Seite. Anschließend wird Google immerwieder crawlen.
Veränderst du die Seite öfter, kommen auch öfter Crawler. Sollten die Veränderungen anhalten, werden die Crawler in Zukunft seltener kommen.
D.h. der Grad der Veränderung (in der nahen Vergangenheit) bestimmt (u.A.) die Häufigkeit der Crawlingvorgänge.
Über die Mechanismen der Crawler von Archive.org weiß ich ehrlich gesagt nichts. Mein Wissen bezieht sich lediglich auf Google
Eine Investition in Wissen bringt immer noch die besten Zinsen.
|
|
ade_war_sche - 30
Profi
(offline)
Dabei seit 05.2005
426
Beiträge
|
|
Geschrieben am: 22.08.2011 um 12:55 Uhr
|
|
Zitat von septicus: Zitat von 1860_: Zitat von LikeYouMuch1: Wenn ich mal fragen darf,
wo hat Team-Ulm die Community gebaut?
in einem Haus
Nope.
In mehreren Häusern. Wo, wird nicht verraten
TU ist nicht auf einmal entstanden, sondern in den letzten 12 Jahren nach und nach gewachsen.
Und ja: das wurde alles selbst programmiert und gemacht (TU ist ja etwas mehr als "nur" die Technik selbst). Und nein, wir sind damit nicht bei einem Webhoster... wir haben etliche Server, auf denen TU läuft und die stehen in Ulm bei ScanPlus auf dem Eselsberg.
echt bei ScanPlus ? :) ich hab im science park ferienarbeit gemacht ^^ was macht scanPlus eig ?
Holland
|
|
Crankr - 32
Champion
(offline)
Dabei seit 01.2010
2053
Beiträge
|
Geschrieben am: 22.08.2011 um 13:00 Uhr
Zuletzt editiert am: 22.08.2011 um 13:06 Uhr
|
|
Zitat von LikeYouMuch1: Ihr habt das also Programmiert
Ich dachte ihr habt das bei irgendeiner Seite gemacht o_O
Wenn ihr lesen koenntet wuerdet ihr bemerken, dass sich das Topic schon geklaert hat.
Er dachte das wurde mit einem HomepageBaukasten gemacht..
|
|
madeofclay
Profi
(offline)
Dabei seit 06.2011
705
Beiträge
|
Geschrieben am: 22.08.2011 um 13:23 Uhr
Zuletzt editiert am: 22.08.2011 um 13:23 Uhr
|
|
Zitat von Crankr: Zitat von LikeYouMuch1: Ihr habt das also Programmiert
Ich dachte ihr habt das bei irgendeiner Seite gemacht o_O
Wenn ihr lesen koenntet wuerdet ihr bemerken, dass sich das Topic schon geklaert hat.
Er dachte das wurde mit einem HomepageBaukasten gemacht..
Der Thread heißt "Team-Ulm.de". Klar, die Eingangsfrage ist beantwortet, aber das Thema hat Platz für mehr
Eine Investition in Wissen bringt immer noch die besten Zinsen.
|
|
Ich_Liebe_Dich - 29
Fortgeschrittener
(offline)
Dabei seit 07.2011
28
Beiträge
|
|
Geschrieben am: 22.08.2011 um 13:57 Uhr
|
|
Könntet ihr mal wieder ein neues Seiten Design' entwerfen . Das neue ist schon älter :( . Möchte mal wieder was neues sehen
VfB Ein LEBEN lang :)
|
|
septicus
Team-Ulmler
(offline)
Dabei seit 08.2002
4436
Beiträge
|
|
Geschrieben am: 22.08.2011 um 13:58 Uhr
|
|
Zitat von ade_war_sche:
echt bei ScanPlus ? :) ich hab im science park ferienarbeit gemacht ^^ was macht scanPlus eig ?
Hier entlang
|
|
ade_war_sche - 30
Profi
(offline)
Dabei seit 05.2005
426
Beiträge
|
|
Geschrieben am: 22.08.2011 um 14:06 Uhr
|
|
 dankeschön, jetzt weiß ichs ;)
Holland
|
|
Pratsch - 31
Champion
(offline)
Dabei seit 07.2009
2821
Beiträge
|
|
Geschrieben am: 22.08.2011 um 14:19 Uhr
|
|
Zitat von septicus: Zitat von madeofclay:
Bedingt.. dennoch gibt es oft zuverlässige Tendenzen. Sollte TeamUlm nicht grade die Crawler per robots aussperren, dann crawlt Google (und Co) immer bei neuen Veränderungen auf einer Seite. Verändert sich die Seite lange nicht, wird auch weniger gecrawlt.
Wie kriegen die mit, dass sich was geändert hat, wenn sie nicht crawlen ?
Das kann immer nur anhand der Daten aus der Vergangenheit angenommen werden und bewegt sich somit nicht zwingend an der Realität entlang.
Der Crawler von Archive.org arbeitet übrigens nach ganz anderen Mechanismen.
Ist Crawlen nicht verboten? o.O
awa
|
|
septicus
Team-Ulmler
(offline)
Dabei seit 08.2002
4436
Beiträge
|
|
Geschrieben am: 22.08.2011 um 14:22 Uhr
|
|
Zitat von Pratsch: Zitat von septicus: Zitat von madeofclay:
Bedingt.. dennoch gibt es oft zuverlässige Tendenzen. Sollte TeamUlm nicht grade die Crawler per robots aussperren, dann crawlt Google (und Co) immer bei neuen Veränderungen auf einer Seite. Verändert sich die Seite lange nicht, wird auch weniger gecrawlt.
Wie kriegen die mit, dass sich was geändert hat, wenn sie nicht crawlen ?
Das kann immer nur anhand der Daten aus der Vergangenheit angenommen werden und bewegt sich somit nicht zwingend an der Realität entlang.
Der Crawler von Archive.org arbeitet übrigens nach ganz anderen Mechanismen.
Ist Crawlen nicht verboten? o.O
What? Dir ist aber das Funktionsprinzip der Datengewinnung von Suchmaschinen schon bekannt?
Wieso sollte crawlen verboten sein?
|
|
Aokiji
Profi
(offline)
Dabei seit 11.2010
837
Beiträge
|
|
Geschrieben am: 22.08.2011 um 14:22 Uhr
|
|
ist der chef von tu angemedlet
Und jetzt Banger leben kürzer :) 14,99€
|
|
Pratsch - 31
Champion
(offline)
Dabei seit 07.2009
2821
Beiträge
|
|
Geschrieben am: 22.08.2011 um 14:25 Uhr
|
|
Zitat von septicus: What? Dir ist aber das Funktionsprinzip der Datengewinnung von Suchmaschinen schon bekannt?
Wieso sollte crawlen verboten sein?
Das ist schon klar aber hab gelesen das Crawlen als DoS gewertet werden kann, wenn ich z. B. TU.de auf meinem PC abspeichern will.
awa
|
|
madeofclay
Profi
(offline)
Dabei seit 06.2011
705
Beiträge
|
Geschrieben am: 22.08.2011 um 14:28 Uhr
Zuletzt editiert am: 22.08.2011 um 14:30 Uhr
|
|
Zitat von Pratsch: Zitat von septicus: What? Dir ist aber das Funktionsprinzip der Datengewinnung von Suchmaschinen schon bekannt?
Wieso sollte crawlen verboten sein?
Das ist schon klar aber hab gelesen das Crawlen als DoS gewertet werden kann, wenn ich z. B. TU.de auf meinem PC abspeichern will.
Crawler dienen lediglich dazu Seiten zu "durchforsten", nach Neuerungen zu suchen und diese dann dementsprechend dem Indexer zu melden.
Edit:
Btw. Crawler suchen auch neue Seiten auf. Sie folgen Links und kommen so beispielsweise auf krachneue Seite, die dementsprechend indexiert werden.
Eine Investition in Wissen bringt immer noch die besten Zinsen.
|
|
septicus
Team-Ulmler
(offline)
Dabei seit 08.2002
4436
Beiträge
|
|
Geschrieben am: 22.08.2011 um 14:32 Uhr
|
|
Zitat von Aokiji: ist der chef von tu angemedlet
|
|
Pratsch - 31
Champion
(offline)
Dabei seit 07.2009
2821
Beiträge
|
|
Geschrieben am: 22.08.2011 um 14:32 Uhr
|
|
Zitat von madeofclay: Zitat von Pratsch: Zitat von septicus: What? Dir ist aber das Funktionsprinzip der Datengewinnung von Suchmaschinen schon bekannt?
Wieso sollte crawlen verboten sein?
Das ist schon klar aber hab gelesen das Crawlen als DoS gewertet werden kann, wenn ich z. B. TU.de auf meinem PC abspeichern will.
Crawler dienen lediglich dazu Seiten zu "durchforsten", nach Neuerungen zu suchen und diese dann dementsprechend dem Indexer zu melden.
Edit:
Btw. Crawler suchen auch neue Seiten auf. Sie folgen Links und kommen so beispielsweise auf krachneue Seite, die dementsprechend indexiert werden.
Je nachdem erzeugt man aber trotzdem Traffic... würde es euch TU Mitarbeiter sofort auffallen, wenn ich TU Crawle oder müsst ihr gezielt danach schauen, ob das jemand macht? Logs etc.
awa
|
|
[