bigwing package

Submodules

bigwing.api module

class bigwing.api.AddressConverter(key)

Bases: bigwing.api.BigwingAPIProcessor

class bigwing.api.BigwingAPIProcessor

Bases: object

빅윙추상클래스

get_param()
insert(data, col)

DataFrame 자료형의 데이터 입력받고, 검색키워드가 있는 컬럼명을 인수로 받습니다.

run(limit=True)

api 호출을 일괄실행시킵니다. limit 인수는 Boolean 자료형을 받습니다. Default는 True입니다. limit이 True일경우, 처리상태가 “OK”인 행데이터는 Skip하고 연속진행합니다.

summary()
takeout()
class bigwing.api.Google_Geocoder(key)

Bases: bigwing.api.BigwingAPIProcessor

class bigwing.api.SuperAPICaller(base_url, **params)

Bases: bigwing.api.BigwingAPIProcessor

set_status(OK)
set_tagname()
set_values()
class bigwing.api.Vwolrd_Geocoder(key, crs='EPSG:5181', type_='ROAD')

Bases: bigwing.api.BigwingAPIProcessor

bigwing.crawler module

class bigwing.crawler.BigwingCrawler(url, browser='Chrome', headless=True)

Bases: object

fetch(keyword)
get_alltags()
get_browser()
get_html()
get_soup()
get_text()
insert(data, col)
reset_html()
reset_soup()
run(limit=True)
set_browser(url, browser='Chrome')
set_html(url, browser='PhantomJS')
set_soup(url, browser='PhantomJS')
summary()
takeout()
class bigwing.crawler.EPLCrawler(url, page_nm='all', browser='Chrome', headless=True)

Bases: bigwing.crawler.BigwingCrawler

fetch(parant_tag, child_tag=None)
get_all_attr()
get_next_page_btn(*attrs)
page_skipper()
run()
set_page(page_nm)
takeout()

bigwing.db module

class bigwing.db.BigwingMongoDriver(db, collection)

Bases: object

find_all()
save(**kwargs)
class bigwing.db.BigwingMysqlDriver(host, dbname, user, passwd, port=3306)

Bases: object

BigwingMysqlDriver 모듈 클래스<br />

  • 사용법 : 인스턴스명 = BigwingMysqlDriver(“호스트명”, “DB명”, “유저명”, “패스워드”)
  • port는 3306 을 디폴트로 사용 (변경시 port=포트번호 를 인수로 넘김)
commit()

insert()함수 사용후 커밋을 실행하는 함수

  • 사용법 : 인스턴스명.commit()
create(table, *args)

테이블을 생성하는 함수

  • 사용법 : 인스턴스명.create(‘테이블명’, (컬럼1, 컬럼2,…) )
  • 특징 : 모든 컬럼은 varchar(50) default null 형으로 일괄 생성됨
delete(table)

특정 테이블을 삭제하는 함수

  • 사용법 : 인스턴스명.delete(‘테이블명’)
insert(table, *args)

특정 테이블에 데이터를 입력하는 함수

  • 사용법 : 인스턴스명.insert(‘테이블명’, (컬럼1, 컬럼2, 컬럼3, …))
insert_bulk(table, data)

특정 테이블에 데이터프레임 형태의 자료를 한번에 입력하는 함수

  • 사용법 : 인스턴스명.insert_bulk(‘테이블명’, ‘데이터프레임변수’)
show()

테이블과 컬럼 정보를 출력하는 함수

  • 사용법 : 인스턴스명.show()
takeout(table)

테이블 데이터를 데이터프레임 타입으로 가져오는 함수

  • 사용법 : 인스턴스명.takeout(‘테이블명’)

bigwing.search module

bigwing.search.search_ext(dirname, ext)
bigwing.search.search_file(dirname, keyword)

Module contents