Популярные вопросы по тегу HIVE

Загрузка данных в таблицу

... У меня есть текстовый файл по пути 6 * D: \ data files \ datafiles *. Я хочу загрузить данные из одного из 5 файлов в таблицу, созданную в улье. пока 4 я пытаюсь сделать следующее, load data inpath "D:\data files\sample.txt" into table sample; Отображается 3 оши ...

Как добавить дату к номеру в улье

... добавление поля даты и 4 поля int. Я выполняю запрос ниже. Это вызывает 3 ошибку. Я не могу добавить. В этом create_date тип 2 данных DAT ...

Улей: преобразование строки в целое число

... в целое число 4 в моей таблице улья для сортировки с использованием 3 SELECT и ORDER BY. Я искал в языковом руководстве, но 2 беспол ...

Как выбрать данные из улья с конкретным разделом?

... ow partitions TABLENAME pt=2012.07.28.08/is_complete=1 pt=2012.07.28.09/is_complete=1 pt=2012.07.28.10/is_complete=1 pt=2012.07.28.11/is_complete=1 hive> select * from T ...

Проблемы с установкой Hive: база данных хранилища метаданных Hive не инициализирована

... кого 13 создания базовой базы данных в строке подключения 12 JDBC (например,? CreateDatabaseIfNotExist 11 = true для mysql) Итак, я выполнил команду, предложенную 10 в сообщении об ошибке выше: schematool -dbType 9 derby -initSchema Я получил сообщение об 8 ошибке: Ошибка: ФУНКЦИЯ "NUCLEUS_ASCII" уже 7 существует. (состояние = X0Y68, код = 30000) org.apache.hadoop.hive.metastore.HiveMetaException: инициализация 6 схемы НЕ выполнен ...

AWS Athena: HIVE_BAD_DATA ERROR: тип поля DOUBLE в паркете несовместим с типом, определенным в схеме таблицы

... ачениями 13 int и один столбец с именем «результат», которые 12 имеют как значения double, так и значения int. С 11 этими столбцами я создал такую схему: create external table ( key int, result double, location string, vehicle_name string. filename string ) Когда 10 я запрашивал таблицу, я получал HIVE_BAD_DATA: тип 9 результатов поля INT64 в паркете несовместим 8 с типом DOUBLE, определенным в схеме ...

Начальные нули заполнения улья

... бца в моей 5 таблице как 13 символов длины, независимо 4 от его длины, мне нужно заполнить оставшиеся 3 ...

Сохранить фрейм данных Spark как динамически секционированную таблицу в Hive

... намически разбить таблицу улья на основе 6 даты создания (столбец в таблице). есть ли 5 способ динамически разделить фрейм данных 4 и сохранить его в хранилище улья. Хотите 3 воздержаться от жесткого кодирования оператора 2 вставки с помощью hivesqlcontext.sql(insert into table partittioin by(date)....). Вопрос можно рассма ...

Hive QL Except clause

... аторами. Я хочу найти список идентификаторов, которые 4 есть только в таблице 1, но не в таблице 3 2 Таблица 1 apple orange pear Таблица 2 apple orange В SQL вы можете использовать предложение 2 EXCEPT (http://en.wikiped ...

Таблица обновления внешней таблицы улья против восстановления MSCK

... метаданных улья получило информацию о только 7 что добавленном разделе. Это единственный 6 способ или есть лучший способ? Меня беспокоит, будет 5 ли msck repair вызывать какие-либо проблемы с недоступностью 4 данных или устаревшими данными, если последующие 3 пользователи запрашивают таблицу? Я просматривал 2 API HiveContext и видел параметр refreshTable. Есть идеи, имеет 1 ли смысл и ...

Запросить таблицу HIVE в pyspark

... File "/usr/lib/spark/python/lib/py4j-0.8.2.1-src.zip/py4j/java_gateway.py", line 538, in __call__ File "/usr/lib/spark/python/pyspark/sql/utils.py", line 40, in deco raise AnalysisException(s.split(': ', 1)[1] ...

Улей Внешняя таблица-CSV-файл- Строка заголовка

... TED BY ',' LOCATION '/exttable/'; В моем местоположении / exttable HDFS 6 у меня много файлов CSV, и каждый файл CSV 5 также содержит строку заголовка. Когда я ...

Как отфильтровать данные Hive во флаттере по значениям данных?

... Map<dynamic, dynamic> raw = box.toMap(); List list = raw.values.toList(); return ListView.builder( itemCount: list.length, itemBuilder: (context, index){ MsgModel msges = list[index]; return GestureDetector( onDoubleTap: () {}, child: Padding( ...

Есть ли онлайн-редактор Apache Hive 0.14 с образцом БД с таблицами?

... й-нибудь онлайн редактор 1 Apache Hive 0.14 с образц ...

Автоприращение улья после определенного числа

... атического 8 увеличения, используя функцию row_number(), но 7 в том же запросе мне следует получить максимальное 6 значение суррогатного ключа из целевой таблицы. Есть 5 ли в HIVE концепция, в которой я могу выбрать 4 максимальное значение суррогатного ключа 3 и сохранить его во временной переменной? Или 2 есть другой простой способ ...

Как удалить повторяющиеся записи из таблицы Hive?

... hnology 1 Abcd Hadoop 2 Efgh Java 3 Ijkl MainFrames 2 Efgh Java У нас 9 есть такие параметры, как «Distinct», которые 8 можно использовать в запросе на выборку, но 7 запрос на выборку просто извлекает ...

Как удалить / обрезать таблицы из Hadoop-Hive?

... из куста, а также укажите, откуда я могу 2 получить дополнительную инфор ...

Загрузка данных из файла .txt в таблицу, хранящуюся как ORC в Hive

... ате .txt. Я использую 11 файл для загрузки данных в таблицы Hive. Когда 10 я загружаю файл в таблицу, например CREATE TABLE test_details_txt( visit_id INT, store_id SMALLINT) STORED AS TEXTFILE; данные 9 загружены правильно с помощью LOAD DATA LOCAL INPATH '/home/user/test_details.txt' INTO TABLE test_details_txt; и я могу запустить 8 SELECT * FROM test_details_txt; на стол ...

Как преобразовать строку даты из UTC в определенный часовой пояс в HIVE?

... ConvertToESTTimeZone или 3 как я могу этого добиться? Я пробовал следующее, но 2 это не сработало (мой часовой пояс по умолчанию 1 - CST): TO_DATE(from_utc_timestamp(T.Date) = "2014-01-12" TO_DATE( from_utc_timestamp(to_utc_timestamp (unix_timestamp (T.date), 'CST'),'EST')) Заранее спасибо. Обновление: Strange behavior ...

Как сконвертировать файл sas7bdat в csv?

... ыло загрузить его 3 в таблицу кустов. Я получаю файл .sas7bdat 2 с внешнего сервера, и на моем компьютере 1 ...

Замените пустое или NULL значение конкретным значением в результате запроса HIVE

... с, но он 1 тоже не работал: select country, regexp_replace(os(agent),'','Others') SO, count(*) from clicks_data where country is not null and os(agent) is not null group by country, os(agent); Вот результат: ZA Others 4 ZA OthersAOthersnOthersdOthersrOthersoOthersiOthersdOthers 4 ZA OthersMOthersaOtherscOthers 8 ZA OthersWOthersiOthe ...

Разница между `load data inpath` и` location` в улье?

... о их функции мне кажутся 4 одинаковыми: 1 create table <mytable> (name string, number double); load data inpath '/directory-path/file.csv' into <mytable>; 2 create table <mytable> (name string, number double); location '/directory-path/file.csv'; Они оба копируют данные из каталога 3 на HDF ...

Как просмотреть значение переменной улья?

... с помощью команды 5 "SET a = 'B, C, D'"? Я не хочу использовать 4 переменную - просто посмотрите значение, которое 3 я устан ...

Отображение определения SQL представления улья

... его форме SQL. Большинство 2 реляционных баз данных поддерживают такие 1 ко ...

Вид сбоку улья с примером примера с таблицей улья, имеющей 1 столбец в виде массива

... еня есть одна 3 таблица в улье, в которой один столбец имеет 2 тип данных INT, а другой - тип данных Arr ...

Преобразование строки улья в десятичное с плавающей запятой

... ной в значение double. Проблема, с 6 которой я сталкиваюсь, заключается в том, что 5 десятичное число является переменным и может 4 быть любым из следующих: 359.879999 35.8799999 3.59879999 (переместите десятичную 3 дробь куда хотите ... но длина поля всег ...

Поиск первой строки в группе с помощью Hive

Как написать регистр и группировку в запросе улья

... cs fail Во-первых, он 9 проверит наличие «сбой» или «задержка» в 8 status каждого элемента dept и course, сгруппированных вместе. Если 7 он находит «сбой» или «задержан», он выводит 6 «сбой» в виде status. В противном случае, если 5 в той же группе будет обнаружено «отсутствует», будет 4 выведено «отсутствует» как status. В противном 3 случае он будет выводить «пройден». Я получил 2 ...

Что такое Hive: код возврата 2 из org.apache.hadoop.hive.ql.exec.MapRedTask

... number of reducers: set hive.exec.reducers.max=<number> In order to set a constant number of reducers: set mapred.reduce.tasks=<number> Starting Job = job_201206191101_4557, Tracking URL = http://jobtracker:50030/jobdetails.jsp?jobid=job_201206191101_4557 Kill Command = /usr/lib/hadoop/bin/hadoop job -Dmapred.job.tracker=master:8021 -kill job_201206191101_4557 2012-06-25 09:53:05,826 Stage-1 map = 0%, reduce = 0% 2012-06-25 0 ...

Hive: Exception .. class jdk.internal.loader.ClassLoaders $ AppClassLoader не может быть преобразован в класс java.net.URLClassLoader

... nState.java:60) at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:663) at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:641) at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at java.base/jdk.internal.reflect.DelegatingMethodAccessorIm ...

hive and presto ， Задача усечения целочисленного деления

... в кусте не происходит при усечении целочисленног ...

Hadoop / Hive: загрузка данных из .csv на локальном компьютере

... сы Hive на моем компьютере, получая 10 доступ к данным в кластере AWS. Могу ли 9 я выполнять запросы Hive с данными .csv, хранящимися 8 на моем компьютере, как я это делал с MS 7 SQL Server? Как тогда загрузить данные в 6 формате CSV в Hive? При чем здесь Hadoop 5 и в каком режиме я должен его запустить? О 4 каки ...

Что делает MSCK REPAIR TABLE за кулисами и почему это так медленно?

... цы. Для 9 этого вам нужно всего лишь выполнить ls в 8 корневой папке таблицы (учитывая, что таблица 7 разделена только на один столбец) и получить 6 все ее разделы, очевидно, операция <1 5 с. Но на практике операция может занять очень много времени 4 (или даже timeout if ran on AWS Athena). Итак, мой вопрос: что на самом 3 деле делает MSCK REPAIR TABLE за кулисами и почему? Как MSCK 2 REPAIR ...

parquet.io.ParquetDecodingException: не удается прочитать значение 0 в блоке -1 в файле

... л удаленную таблицу БД в Hive с 4 помощью метода saveAsTable, теперь, когда я пытаюсь 3 получить доступ к данным таблицы Hive с 2 помощью команды CLI select * from table_name, я получаю следующую 1 ошибку: 2016-06-15 10:49:36,866 WARN [HiveServer2-Handler-Pool: Thread-96]: thrift.ThriftCLIService (ThriftCLIService. ...

Улей: фильтрация данных между указанными датами, когда дата является строкой

... 4 для этого столбца месяц() и год(). Но как 3 использовать их для фильтрации данных между 2 указанными выше датами? Приветствуются любые 1 примеры / образцы ...

Что такое HiveServer и Thrift server

... сбережений. Что это ? как они связаны? в 2 чем разница ?. когда используется каждый 1 из них? объясните ...

Ошибка выполнения HIVE, код возврата 1 из org.apache.hadoop.hive.ql.exec.DDLTask

... ения, код 4 возврата 1 из org.apache.hadoop.hive.ql.exec.DDLTask. com 3 / facebook / fb303 / FacebookService $ Iface Hadoop version:**hadoop-1.2.1** HIVE Version: **hive-0.12.0** Путь 2 Hadoop: /home/hadoop_test/data/hadoop-1.2.1 путь улья: /home/hadoop_tes ...

Как установить переменные в скриптах HIVE

... оде этого: SET CURRENT_DATE = '2012-09-16'; SELECT * FROM foo WHERE day >= @CURRENT_DATE Но потом 2 я получаю такую ошибку: символ ...

Куст HDINSIGHT, ошибка выдачи MSCK REPAIR TABLE имя_таблицы

... это будет в 2016/10/13. TABLE SCHEMA: create External table employee(EMPID Int,FirstName String,.....) partitioned by (year string,month string,day string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' LOCATION '/.../emp'; поэтому каждый 8 день нам нужно запускать команду, которая 7 отлично работает как ALTER TABLE employee ADD IF NOT EXISTS PARTITION (year=2016,month=10,day= ...

Подключение к Hive с помощью Билайн

... ь !connect jdbc:hive2://localhost:10000/default Я понятия 4 не имею, какое имя пользователя и пароль 3 я должен дать. Нужно ли мне добавлять учетные 2 данные (имя пользователя и пароль) в какой-нибудь 1 файл конфигу ...

COLLECT_SET() в Hive, хранить дубликаты?

... , с 3 помощью другого метода? Я хочу объединить 2 все элементы в столбце с одинаковым ключом 1 в массив с дубликатами. И.Э .: hash_id | num_of_cats ===================== ad3jkfk 4 ad3jkfk 4 ad3jkfk 2 fkjh43f 1 fkjh43f 8 fkjh43f 8 rjkhd93 7 rjkhd93 4 rjkhd9 ...

Как добавить раздел с помощью куста к определенной дате?

... 2014-03-03/ DIR s3://test.com/2014-03-04/ DIR s3://test.com/2014-03-05/ s3://test.com/2014-03-05/ip-foo-request-2014-03-05_04-20_00-49.log s3://test.com/2014-03-05/ip-foo-request-2014-03-05_06-26_19-56.log s3://test.com/2014-03-05/ip-foo-request-2014-03-05_15-20_12-53.log s3://test.com/2014-03-05/ip-foo-request-2014-03-05_22-54_27-19.log Как создать 2 таблицу разделов ...

Как загрузить данные в куст из HDFS, не удаляя исходный файл?

... FS в Hive с помощью LOAD DATA INPATH 'hdfs_file' INTO TABLE tablename; , похоже, она 3 перемещает hdfs_file в каталог hive ...

Очистка контрольной точки фрейма данных Spark

... e dataframe val checkpointDf = df.checkpoint() checkpointDf.write.format("parquet").mode(SaveMode.Overwrite).insertInto("db.my_table") После этого у 5 меня есть этот файл на HDFS: /home/user/checkpoint/214797f2-ce2e-4962-973d-8f215e5d5dd8/rdd-23/part-00000 И каждый раз, когда 4 я запускаю искровое задание, я просто получаю 3 ...

Отдельный столбец счетчика SQL / Hive

... сделать в Hive? columnA columnB columnC 100.10 50.60 30 100.10 50.60 30 100.10 50.60 20 100.10 70.80 40 Вывод должен быть: columnA columnB No_of_distinct_colC 100.10 ...

Создание раздела во внешней таблице в улье

... лицу 2-загруженные данные из 13 локальной в исходную таблицу 3- создал еще 12 одну таблицу с разделами - partition_table 4- вставил 11 данные в эту таблицу из исходной таблицы, в 10 результате чего все разделы были созданы 9 динамически У меня вопрос, как это сделать 8 во внешней таблице? Я прочитал так много 7 статей по этому поводу, но меня смущает, что 6 ...

Экспорт таблицы улья в корзину S3

... me STRING, log STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; LOAD DATA LOCAL INPATH '/home/hadoop/file.csv' OVERWRITE INTO TABLE csvimport; Теперь я хочу сохранить 3 таблицу Hive в корзине S3, чтобы таблица 2 сохранялась после заверш ...

Spark2 Не удается записать фрейм данных в таблицу улья паркета: HiveFileFormat`. Он не соответствует указанному формату `ParquetFileFormat`

... .toDF() .repartition($"col1", $"col2", $"col3", $"col4") .write .format("parquet") .mode(saveMode) .partitionBy("col1", "col2", "col3", "col4") .saveAsTable("db".tbl) Формат существующей таблицы project_bsc_dhr.bloc_views 5 - HiveFileFormat. Он не соответствует указанному формату 4 ParquetF ...

Как найти самый последний раздел в таблице HIVE

... 7 пробовал использовать max(), что дало неверный 6 результат. Я не хочу проходить через всю 5 таблицу, выполняя select max(ingest_date) from db.table_name; Это дало бы мне ожидаемый 4 результат ... но убило бы весь смысл наличия 3 разделов на первом месте. Есть ...

Кластер улья по vs упорядочить по vs сортировать по

... овать только по 12 сортировке в редукторе упорядочивает вещи 11 по всему миру, но помещает все в один редуктор cluster 10 by разумно распределяет данные по редукторам 9 по ключевому хешу и производит сортировку 8 по Мой вопрос: гарантирует ли кластер глобальный 7 порядок? distribute by п ...