Szybkie ściąganie plików z szukajwarchiwach - poradnik. Czy są chętni?

[klw]

To nie ostrzeżenia, to groźby - w dodatku na obcym portalu.
klw to nick, a imię i nazwisko jest w podpisie i dobrze byłoby z tego skorzystać.

Aby nie było wątpliwości - jestem informatykiem od 1970 roku i w swoim portfolio mam wystarczająco wiele programów, systemów i związanych z tym doświadczeń, aby ocenić czy ten problem jest rzeczywiście taki, jak w tych 3 postach kolega przedstawił.

[sgasiorek]

Przepraszam ale gdzie jest napisane że ten czy tamten portal jest mój? To nie są moje portale.
Myślę, że to nie miejsce na toczenie dyskusji kto ma jakie portfolio i w jakich latach je "zdobył".

Jeśli uważa Pan, że ma mi coś ważnego do przekazania to zapraszam na priv.
Więcej nie będę się w tym temacie wypowiadał gdyż schodzimy z tematu wątku na jakieś prywatne potyczki.

Pozdrawiam,
Sebastian Gąsiorek

[Conan]

Widzę, że zrobiła się niezdrowa atmosfera. Groźby, pretensje, zarzuty...

Kokietuję? Poradnik płatny? Co to za absurdalne pomysły? Po prostu z życzliwości chciałem ułatwić zainteresowanym życie. A zapytałem, czy są zainteresowani, bo gdyby ich nie było, to po jaki grzyb miałbym tracić czas, siedząc i opisując krok po kroku, co robić?

Nic to. Darujmy sobie te porady, bo niektórzy mają z tym jakiś problem.

Proponuję usunąć temat

[Magdalena Smolska Kwinta]

Zupełnie nie rozumiem w czym rzecz?
Mariusz zaproponował pomoc i chodziło o "szukajwarchiwach" - wyraźnie jak byk jest napisane.
Nie widzę powodu, żeby kolega Sebastian nas tutaj straszył jakimiś "logami", "lagami" i innymi...
A na co komu makulatura, zeby całość ściągać?
Również nie widzę żadnej przyczyny, żeby ten temat zamykać.
Sama próbowałam ściągnąć 2 (słownie dwa pliki) z "szukajwarchiwach" i faktycznie łatwo nie jest...

[Ynicz]

Teraz pobrałem na próbę jeden plik z szukajwarchiwach.pl i udało mi się to bez żadnych problemów

Nie wiem jakie macie metody na pobieranie pojedynczych czy wielu zdjęć, ale ja osobiście na tej stronie nie mam ani jednej parafii przodków / krewnych.

[bożena]

Ja na tej stronie nie mam swoich parafi, ani przodków. Jeżeli kiedyś będę miała to wtedy będę zainteresowana.

[dpawlak]

Sama próbowałam ściągnąć 2 (słownie dwa pliki) z "szukajwarchiwach" i faktycznie łatwo nie jest...

Ze ściągnięciem nie ma problemu, ze znalezieniem tego co chce się ciągnąć to już większe schody.
Taki poradnik przydałby się nawet jeszcze bardziej niż ten do masowego ściągania plików.
Prawdę mówiąc w niedzielę rozpisałem taką pomóc dla jednego z użytkowników na 3 e-mailach, jakby to przeredagować mógł by się przydać jeszcze komuś, uwzględniłem też pomoc w skrótowym dotarciu do akt z AP Lublin, z wykorzystaniem pomocy ze strony Lubelskich Korzeni.
Nie wiem na czym polegałoby ułatwienie w bardziej masowym ściąganiu plików ale mi przydałoby się chociażby do indeksowania publikowanych parafii. W tej chwili ściągam ręcznie na piechotę automat byłby pomocny o ile oprócz plików dawałby również linki do stron, bo takie linki do aktów dodaję przy indeksach. Mimo wszystko mniejszy ruch wygeneruję gdy ściągnę wszystko raz na dysk i będę pracował on-line niż gdy będę co chwila ładował stronę z kolejnym aktem, a czasem powracał do jakiejś wcześniejszej.
Znam pewien program, który takie rzeczy potrafi i zgodzę się z Sebastianem, że mocno obciąża serwer.

[Magdalena Smolska Kwinta]

Darku,
Po nocnej "gimnastyce" udało mi się ściągnąć 2 pliki. Muszę za każdym razem do nazwy pliku dopisywać "jpg" bez tego się nie udaje. Przyznam, że jest to dość uciążliwe, ale ponieważ nie potrzebuję żadnych "całości" raz na jakiś czas mozna się "pobawić"

Przed momentem próbowałam wejść w metryki, ale niestety we wszystkich losowo otwieranych parafiach wyswietla mi się informacja: "zawartość katalogu jest niedostępna"

[dpawlak]

Z serwera metryk też koniecznie chce mi się każde zdjęcie zapisać jako metryka.php i pozostaje ręczna zmiana, nie tylko nazwy ale i typu pliku.
I słusznie Po co Ci dostęp? Nie wystarczy sama świadomość, że mają?

[Ynicz]

Moim skromnym zdaniem - ten temat powinien zostać usunięty skoro jednym przeszkadza, a inny z nadzieją czekają, aż ktoś w końcu napisze poradnik na pobieranie metryk.

W tych czasach za pomocą komputera i internetu można zrobić wiele


btw. - czy gdyby ktoś nigdy nie poruszył tego problemu w sieci, to wtedy też Ci "nadużywający" byliby karani bez wiedzy?

Trochę to nieodpowiednie, że o jakichkolwiek zasadach `metryk` dowiadujemy się całkiem przypadkiem...

[lukka]

Jeśli ktoś chciałby pobrać większą ilość metryk w przyjazny sposób, jestem w stanie pomóc. Oczywiście bezpłatnie.

[Jarosław Świdurski]

Jeśli ktoś chciałby pobrać większą ilość metryk w przyjazny sposób, jestem w stanie pomóc. Oczywiście bezpłatnie.

Witam
masz jakiś sposób na szybkie ściąganie plików z szukajwarchiwach. Coś na zasadzie fastfilmu dla familysearch

[lukka]

To jest mój pomysł na pobieranie, jeśli ktoś poda mi na priv konkretny zbiór, pomogę w jego ściągnięciu.

[pchec]

Temat mnie zainspirował i postanowiłem spróbować coś zrobić w tym zakresie. Efektem pracy jednego wieczora jest skrypt pod Windowsa, który na podstawie numeru zespołu archiwalnego jest w stanie wygenerować listę plików do ściągnięcia z SzwA (wyłącznie), a następnie je pobrać i zapisać jako kolejno numerowane pliki *.jpg. Nie jest elegancki, ale działa. Muszę go trochę dopracować, żeby był łatwiejszy w użyciu i odporniejszy na niestandardowe zachowania użytkownika. Udostępnię go na wolnej licencji. Kod już sobie siedzi otwarty i czytelny w internecie, ale póki nie jest stabilny, to się nie będę szeroko chwalił.

Ważną rzeczą, która przewija się w tym wątku jest nieobciążanie serwera w sposób nadmierny. W skrypt specjalnie wbudowuję pewne opóźnienie pomiędzy ściąganiem kolejnych plików. Zbliża to trochę zachowanie automatu do użytkownika przechodzącego przez księgę strona po stronie, a jednocześnie oszczędza mu tego mozołu.

Nie gwarantuję tu żadnych terminów. To takie hobby, zabawa, a czas nie jest z gumy. Ale jeśli się komuś przyda, to będzie miło.

[Magdalena Smolska Kwinta]

Mam nadzieję, że nie złamię net etykiety wklejając tutaj post z bliźniaczego forum. Kolega Tomasz przygotował super pomocne narzędzie do ściągania plików z SZWA.

Napisałem prosty program do hurtowego pobierania skanów ze strony http://www.szukajwarchiwach.pl
Program jest dostępny tylko do użytku prywatnego.

Program można pobrać spod adresu:
http://przeklej.net/download.php?file_id=69154


Instrukcja obsługi:
1. Na stronie szukajwarchiwach należy znaleźć interesującą nas jednostkę i przejść na zakładkę Skany (ang. Digital copies, niem. Scans)
2. Po upewnieniu się że adres strony w przeglądarce kończy się na #tabSkany, należy cały adres skopiować do pola "Adres zakładki tabSkany"
3. W polu "Folder wyjściowy" należy wpisać ścieżkę do jakiej zostaną pobrane pliki. Można wspomóc się przyciskiem ...
4. Jeżeli wszystkie dane są poprawne należy kliknąć na przycisk "Rozpocznij zapisywanie"

Program pobierze wszystkie skany, nawet jeżeli są one podzielone na różne strony i nie ma konieczności nawigowania między stronami.
Pobrane pliki będą nazwane tak jak na stronie, czyli 1.jpg, 2.jpg itd, i jeżeli w wybranym katalogu są już pliki o takich nazwach to zostaną one nadpisane.

Program działa w systemie Windows,
w przypadku starszych systemów (Windows 98, windows 2000) być może konieczne będzie zainstalowanie pakietu
Microsoft .NET framework 2.0
Można go pobrać stąd:
http://przeklej.net/download.php?file_id=69169


W napisaniu programu bardzo pomogła mi instrukcja opisana w tym wątku przez użytkownika gargul.


pozdrawiam
Tomek